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本 书 由 “ePUBw.COM” 整 理 ，ePUBw.COM 提供 最 新 最 全 的 优质 
电子 书 下 载 ! ! |! 


为 什么 写 这 本 书 
先 讲 两 个 故事 吧 。 


一 次 我 面试 了 一 位 有 8 年 名 企 测 试 经 验 的 候选 者 。 面 试 中 ， 我 能 感受 到 他 对 他 现在 做 
的 业务 很 熟悉 ， 但 他 熟悉 的 这 些 业务 和 他 现在 申请 的 职位 中 涉及 的 业务 相差 甚 远 ， 
于 是 我 束 问 了 个 问题 : “如 果 我 们 有 笠 能 够 邀请 到 您 加 入 我 们 的 团队 ， 您 可 以 给 我 
们 团队 囊 来 些 什么 呢 ? ”这 位 候选 者 竟然 语 塞 一 尽管 他 拥有 8 年 的 测试 经 验 ， 但 是 
除了 业务 知识 ， 对 测试 本 身 ， 他 却 几乎 没有 任何 思考 和 总 结 。 一 旦 离开 了 熟悉 的 业 
务 领 域 ， 他 融 又 回 到 了 “新 人 ”的 状态 ， 之 前 的 经 验 很 难 复 用 ， 需 要 重新 积 昧 。 





不 过 这 件 事情 更 触动 我 的 是 在 面试 结束 后 和 我 一 起 面试 的 男 一 位 面试 官 ( 这 是 一 
场 “ 二 对 一 ”的 面试 ) 的 话 ， 她 说 她 感到 有 点 害怕 ， 害 怕 8 年 后 她 也 会 陷入 这 位 面试 
者 这 样 的 状况 .…… 


第 二 个 故事 也 是 面试 中 的 故事 。 一 位 有 4 年 名 企 测 试 工作 经 验 的 候选 者 ， 已 经 开始 在 
大 公司 里 面 做 测试 管理 了 。 我 们 谈 到 了 对 测试 技术 的 理解 ， 他 开始 谈 当 前 公司 的 流 
程 ， 谈 得 很 好 。 我 接着 他 的 话题 ， 提 了 个 问题 : “您 会 在 什么 时 候 、 从 哪些 角度 去 
识别 测试 项 目 中 的 风险 ? 以 及 如 何 处 理 这 些 风险 ? ”这 位 候选 者 的 答案 是 : “我 们 
的 风险 就 是 项 目 延 期 ， 其 他 没有 风险 ， 流 程 上 写 得 很 清楚 什么 时 候 要 识别 风险 ， 到 


了 那个 时 候 我 们 就 把 这 个 问题 提出 来 ， 发 邮件 给 大 家 ， 包 括 各 个 领导 ， 请 他 们 来 解 
决 。 因 为 这 个 问题 我 们 也 解决 不 了 。 ”显然 ， 他 一 直 在 被 所 谓 的 厉害 的 “ 流 程 ” 牵 
蛋子 走 ， 沅 程 中 绚 藏 的 测试 理念 、 方 法 和 实际 工作 已 经 无 法 落地 了 。 


这 两 个 故事 ， 引 出 了 一 个 值得 我 们 思考 的 问题 : 什么 是 测试 的 核心 ? 


作为 测试 人 员 ， 擎 握 “ 业 务 知识 ”是 必须 的 ， 但 是 “业务 知识 ”并 不 能 和 “测试 能 
力 ” 画 等 号 。“ 测 试 流程 ”或 者 说 “测试 管理 ”对 测试 来 说 很 重要 ， 但 是 否 只 要 严 
格 遵循 它们 融 能 做 好 测试 了 ? 如 果 上 述 答 案 是 否定 的 ， 那 么 什么 才 是 测试 的 核心 ? 
我 们 又 该 如 何 去 积 累 沉 泥 这 方面 的 技能 ? 这 就 是 我 写 这 本 书 的 初衷 一 一 想 和 大 家 来 
分 享 我 对 “测试 核心 ”的 思考 ， 分 享 这 其 中 的 技术 总 结 。 


1 .测试 的 核心 是 什么 ? 


我 认为 测试 的 核心 不 是 业务 、 测 斌 方法、 测试 设计 、 自 动 化 、 测 试管 理 、 测 试 流程 
等 ， 而 是 “测试 策略 ”。 


我 们 该 如 何 理 解 测试 策略 呢 ? 测试 策略 通俗 来 说 就 是 “ 测 什么 ”和 “怎么 测 ”， 大 
致 包含 了 如 下 内 容 : 


:测试 的 对 象 和 范围 是 什么 ? 
:测试 的 目标 是 什么 ? 

测试 的 重点 和 难点 是 什么 ? 
测试 的 深度 和 广度 如 何 ? 


-如何 安排 各 种 测试 活动 ?( 先 测试 什么 ， 表 测试 什么 ) 


-如何 评价 测试 的 效果 ? 


这 束 需 要 我 们 基于 “产品 的 质量 目标 ”， 基于“ 风险”， 在 充分 考虑 “ 严 品 研发 状 
况 ” 的 前 提 下 来 安排 各 种 测试 活动 ， 在 有 限 的 时 间 里 进行 “刚刚 好 ”的 测试 。 这 也 
正 是 本 书 想 要 讨论 的 主要 内 容 。 


2 .这 本 书 的 价值 是 什么 ? 


本 书 讨论 的 主要 内 容 是 “测试 策略 ”， 虽然 现在 已 经 有 很 多 优秀 的 测试 类 书籍 ,但 
是 讨论 测试 策略 万 面 的 书籍 却 比 较 少 ， 本 书 可 以 为 读者 在 测试 策略 的 制定 上 提供 很 
有 价值 的 参考 。 


本 书 也 讨论 了 测试 设计 、 测 试 方法 、 缺 陷 分 析 、 质 量 评估 等 大 家 熟悉 的 测试 技术 ， 
本 书 还 使 用 了 大 量 的 篇 幅 来 讨论 如 何在 工作 中 使 用 这 些 技术 ， 制 定 出 如 何 适 应 实际 
情况 的 策略 ， 来 使 测试 更 为 有 效 。 


另外 本 书 还 提供 了 一 些 有 很 强 实用 性 的 模型 模板 和 checklist， 读 者 可 以 直接 在 产 
品 中 使 用 。 

本 书 的 主要 内 容 

本 书 以 “软件 测试 架构 师 ” 为 线索 ， 分 为 三 个 部 分 。 


第 一 部 分 ， 皂 人 颈 : 软件 测试 工程 师 该 如 何 进 行 职业 规划 。 从 当前 软件 测试 行业 的 普 
饥 困 惑 入 手 ， 对 中 国 的 软件 测试 行业 、 软 件 测试 职业 现状 进行 分 析 ， 给 出 软件 测试 
的 职业 规划 建议 。 特 别 指 明了 软件 测试 工程 师 在 技术 上 的 友 展 方向 一 一 软件 测试 架 
构 师 。 为 软件 测试 架构 师 画 像 ， 讨 论 作 为 软件 测试 架构 师 在 测试 过 程 中 需要 关注 和 
不 需要 关注 的 内 容 。 





第 二 部 分 ， 突 破 : 向 软件 测试 架构 师 的 目标 迈进 。 这 部 分 又 可 以 分 为 两 部 分 ， 即 软 
件 测试 染 构 师 需 要 掌握 的 基本 测试 技术 和 软 能 力 。 


其 中 需要 掌握 的 基本 测试 技术 包括 : 
-软件 产品 和 质量 模型 

测试 类 型 

测试 方法 

测试 设计 

-探索 式 测试 

-自动 化 测试 

软 能 力 包括 : 

沟通 和 协商 

' 写 好 测试 用 例 的 技法 


三 部 分 ， 修 炼 : 软件 测试 架构 师 的 核心 技能 。 在 这 一 部 分 ， 我 们 首先 介绍 了 与 测 
试 策略 相关 的 技术 : 


-四 步 测试 策略 制定 法 
:产品 质量 评估 模型 


:测试 覆 苹 度 评 估 


:测试 过 程 评估 
-缺陷 分 析 技 术 
-风险 分 析 技 术 
-分 层 测试 技术 


然后 具体 讲解 ， 如 何 运 用 这 些 测试 策略 编写 技术 和 基本 测试 技术 ， 包 括 我 们 的 测试 
软 技 能 ， 来 制定 忌 体 测试 策略 、 阶 段 测试 策略 ; 如 体制 定 版 本 测试 策略 和 对 产品 质 
量 进行 评估 ， 以 及 在 质量 评估 中 友 现 问题 时 ， 该 如 何 修 正 测试 策略 。 


本 书 的 核心 思想 


中国 软件 测试 行业 整体 起 点 较 高 ， 但 对 软件 测试 却 普遍 缺乏 理解 和 认识 。 认 为 软件 
测试 没有 或 者 缺乏 技术 合 量 的 居多 ， 其 中 不 过 领导 或 决策 者 。 

:软件 测试 在 技术 上 可 以 向 软件 测试 以 构 师 友 展 ， 成 为 产品 测试 专家 。 软 件 测 试 架 构 
师 是 产品 测试 的 灵魂 。 

软件 测试 架构 师 需 要 像 系统 架构 师 一 样 理解 产品 的 商业 目标 和 用 户 的 使 用 场景 ， 要 
从 整体 上 来 把 握 测试 节奏 ， 为 团队 的 天 键 测试 活动 ( 如 测试 设计 、 测 试 执行 ) 提供 
辅导 。 要 保证 测试 策略 能 够 在 整个 团队 中 落地 ， 而 不 是 自己 挽 着 袖子 上 。 

-软件 产品 质量 模型 是 测试 的 基础 。 测 试 类 型 、 测 试 方法 都 是 在 此 基础 上 衍生 出 来 
的 。 


:测试 点 不 等 于 测试 用 例 。 测 试点 通过 测试 设计 来 得 到 测试 用 例 。 


-软件 测试 架构 师 虽 然 是 测试 团队 的 技术 官 ， 但 是 也 不 应 该 忽视 沟通 协商 和 文档 写作 
方面 的 能 力 。 


:测试 策略 是 测试 的 核心 。 


测试 应 该 基于 质量 目标 、 基 于 风险 ， 围 绕 研 发 流程 ， 通 过 分 层 来 进行 “刚刚 好 ”的 
测试 。 


本 书 的 独特 之 处 


目前 已 经 有 很 多 优秀 的 软件 测试 书籍 ,其 中 不 过 精品 ， 但 是 我 友 现 这 些 书籍 大 多 只 
是 单方 面 地 讲授 软件 测试 理念 和 基础 ， 或 是 单方 面 地 讲授 某 种 测试 拷 术 。 本 书 则 规 
避 了 这 一 上 后， 并 不 单方 面 讲授 理念 或 技术 ， 而 是 通过 “测试 策略 ”把 理念 和 技术 串 
起 来 了 ， 教 大 家 该 如 何 来 确定 测试 目标 ， 确 定 测试 范围 ， 确 定 测试 深 度 和 广度 、 重 
所 和 难点 .….. 你 可 以 很 容易 将 书 中 的 内 容 运 用 到 实际 工作 中 去 。 


本 书 的 另外 一 个 特点 是 书 中 使 用 了 5 个 高 度 概括 模型 : 四 步 测试 策略 制定 法 、 软 件 质 
量 评估 模型 、 四 步 测 试 设计 制定 法 、 测 试 方法 车 轮 图 和 两 份 checklist ( 风险 分 析 
checklist 和 老 功 能 分 析 checklist ) 。 有 了 这 套 模 型 工具 ， 我 们 束 可 以 对 软件 测 
试 工 作 进 行 系统 思考 了 ， 这 样 有 利于 我 们 对 自己 的 工作 进行 总 结 ， 突破“ 酒 贷 ”.。 


不 同 于 一 般 的 测试 书籍 ， 本 书 在 行文 安排 和 编写 视角 上 也 别 具 特 色 : 从 测试 的 职业 
发 展 规划 入 手 ， 为 软件 测试 染 构 师 画像 ， 为 测试 者 指出 测试 拷 术 上 的 奋斗 万 向 ; 然 
后 介绍 软件 测试 染 构 师 需要 掌握 的 测试 技术 ( 除了 我 们 熟悉 的 测试 设计 技术 、 缺 陷 
分 析 技 术 外 ， 本 书 还 特别 编写 了 沟通 交流 、 文 档 编写 等 软 拉 能 ) ; 最 后 介绍 如 何 使 
用 这 些 技术 来 编写 测试 策略 ， 在 整个 测试 过 程 中 需要 设计 、 安 排 哪些 测试 活动 以 进 
行 “刚刚 好 ”的 测试 。 可 见 本 书 并 不 是 以 技术 为 主线 来 编写 的 ， 而 是 围绕 “软件 测 


试 架构 师 ”， 即 “人 ”来 展开 的 ， 我 希望 这 样 的 设计 能 够 让 读者 在 阅读 本 书 的 时 候 
感到 更 为 生动 和 实用 。 

本 书 适合 谁 看 

本 书 比 较 适 合 有 一 定 经 验 的 软件 测试 工程 师 ， 以 及 希望 在 测试 技术 上 有 所 友 展 的 测 
试 人 员 阅 读 。 

当然 ， 如 果 您 是 一 位 初 涉 测试 的 朋友 ， 本 书 在 测试 职业 规划 方面 的 接 述 、 测 试 技术 
方面 的 忌 结 和 叙述 对 您 来 说 也 会 是 不 错 的 参考 。 

如 何 使 用 本 书 


如 果 您 是 一 位 有 一 定 测试 经 验 的 软件 测试 工程 师 ， 目前 感到 在 测试 技术 或 测试 友 展 
中 出 现 了 “天 化 板 ”， 有 毕 迷 滋 ， 那 么 本 书 融 再 适合 您 不 过 了 。 建 议 您 不 要 跳 过 一 
些 章节 ， 而 是 按 顺序 阅读 ， 相 信 本 书 一 定 能 帮 您 答疑 解 惑 ， 使 您 找到 自己 新 的 发 展 
方 同 ， 而 且 本 书 也 能 帮 和 您 找到 突破 点 并 在 测试 领域 能 够 有 突破 。 


如 果 您 已 经 是 一 位 软件 测试 架构 师 ， 那么 本 书 的 第 一 部 分 ， 特 别 是 第 1 章 和 第 2 章 ， 
建议 您 直接 略 过 ， 推 荐 您 重点 阅读 本 书 的 第 三 部 分 。 对 于 本 书 的 第 二 部 分 ， 您 可 以 
选择 感 兴 趣 的 章节 参考 阅读 。 


如 果 您 是 一 位 初 涉 测试 的 朋友 ， 建 议 您 重点 阅读 本 书 的 第 一 部 分 和 第 二 部 分 ， 参 考 
阅读 第 三 部 分 


勘误 和 支持 





我 由 衷 热爱 自己 所 从 事 的 职业 一 一 软件 测试 。 很 高 兴 我 已 经 为 此 奋斗 了 16 年 ， 并 很 


愿意 再 为 此 奋斗 第 2 个 16 年 、 第 3 个 16 年 …… 我 写 这 本 书 的 目的 很 简单 ， 就 是 想 分 享 
我 的 经 验 、 我 的 思考 和 我 的 总 结 。 但 由 于 我 的 水 平 有 限 ， 编 写 时 间 仓 促 ， 书 中 难免 
会 出 现 一 些 错误 或 不 准确 的 地 方 ， 居 请 各 位 读者 批评 指正 。 当 然 ， 如 果 您 在 阅读 本 
书 时 有 任何 问题 ， 也 欢迎 提出 来 ， 我 将 尽量 为 您 提供 最 满意 的 解答 。 


我 的 常用 邮箱 是 : 76994738@qq. com。 

微 信 : meizi6163。 

致谢 

首先 要 感谢 的 是 我 工作 时 的 第 一 位 导师 赵 金 明 先 生 ， 谢 谢 赵 先生 将 我 市 上 了 软件 测 


试 这 条 路 。 感 谢 我 在 软件 测试 乙 路 上 遇见 的 几 位 前 奉 ， 谢 谢 你 们 对 我 的 指导 和 培 
养 。 还 要 感谢 我 的 小 伙伴 、 大 伙伴 们 ， 谢 谢 你 们 对 我 的 支持 和 帮助 。 
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第 一 部 分 杠 贷 : 软件 测试 工程 师 访 如 何 
进行 职业 规划 
第 1 章 软件 测试 工程 师 的 “三 年 之 痒 


第 2 章 软件 测试 工程 师 的 职业 规划 


在 中 国 ， 软 件 测试 其 实 很 年 轻 ， 但 是 软件 测试 行业 的 友 展 却 非 党 迅速， 不仅 软件 测 
试 工 程 师 的 数量 与 日 俱 增 ， 而且 各 种 和 软件 测试 相关 的 技术 也 层出不穷 。 在 软件 开 
发 项 目 中 ， 软 件 测试 也 越 来 越 受到 重视 ,开始 扮演 越 来 越 重要 的 角色 ，。 


但 是 我 们 也 需要 注意 另外 一 个 现象 : 软件 测试 工程 师 工 作 两 三 年 后 ， 会 逐渐 友 现 目 
己 遇 到 职业 发 展 的 “ 手 贷 ”， 我 们 姑且 称 之 为 “三 年 之 痒 ”。 具 体 表现 为 : 软件 测 
试 工程 师 党 得 自己 基本 的 测试 技术 已 经 掌握 了 ， 对 产品 也 比较 熟悉 了 ， 但 是 不 知道 
该 如 何 深 入 ， 工 作 开 始 缺乏 挑战 性 和 成 束 感 。 


本 来 在 职业 上 友 展 的 过 程 中 ， 遇 到 “瓶颈 ”也 是 很 正 弟 的 事情 ， 但 是 对 软件 测试 工程 
师 来 说 ， 似 乎 更 难 突破 。 和 各 种 “ 痒 ” 一 样 ， 当 前 行 的 动力 只 剩 下 了 “惯性 ”时 ， 
软件 测试 工程 师 残 容易 变 得 迷失 、 焦 碟 和 痛 吉 ，“ 痒 ”就 变 成 了 “ 坎 ”。 很 多 优秀 
的 软件 测试 人 员 在 这 个 时 候选 择 了 离开 或 者 准备 离开 ; 各 种 技术 论坛 、 博 客 上 也 不 
乏 “ 软 件 测试 无 技术 ” “软件 测 斌 无 前 途 ”的 论调 ， 软 件 测试 似乎 成 了 一 个 没有 多 
少 友 展 前 途 的 行业 。 


这 是 一 个 很 奇怪 的 现象 ， 一 方面 软件 测试 的 队伍 迅速 扩大 ， 一 路 高 歌 猛 进 ; 另 一 方 
面 在 软件 测试 面前 又 似乎 横 豆 背 一 个 迈 不 过 去 的 坎 。 我 认为 ， 在 这 个 现象 背后 有 一 


个 重要 原因 ， 融 是 软件 测试 在 中 国 的 友 展 过 于 迅速 ， 反 而 导致 从 事 软 件 测试 工作 的 
人 们 对 软件 测试 的 理解 存在 偏差 ， 即 使 是 软件 工程 师 ,对 软件 测试 的 优势 、 和 劣势 认 
识 也 不 足 。 当 软件 测试 工程 师 遇 到 职业 友 展 “ 尊 贷 ”时 ， 残 变 得 难以 进行 有 效 突 
破 。 


本 书 的 第 一 部 分 将 和 大 家 一 起 更 深入 地 去 理解 软件 测试 ， 探 索 软件 测试 的 优势 和 劣 
势 ， 理 清 软件 测试 的 友 展 万 向， 并 对 软件 测试 工程 师 该 如 何 进行 职业 规划 提出 建 
议 。 


第 1 章 软件 测试 工程 师 的 “三 年 之 痒 " 
1.1 软件 测试 发 展 简 史 


其 实 从 软件 开 皮 一 开始 ， 融 有 软件 测试 了 。 不 过 最 急 的 软件 测试 其 实 只 是 “ 调 
试 ”， 还 算 不 上 真正 的 软件 测试 ， 一 般 是 由 开 友 人 员 自 己 完 成 的 ， 投 入 极 少 。 


随 着 软件 行业 的 友 展 ， 混 乱 无 序 的 软件 开 友 过 程 已 经 不 能 适应 软件 功能 日 益 复 杂 的 
现状 ， 从 而 出 现 了 “软件 危机 ”。1968 年 秋季 ，NATO ( 北约 ) 的 科技 委员 会 召集 了 
近 56 名 一 流 的 编程 人 员 、 计 算 机 学 家 和 工业 界 巨头 ， 讨 论 和 制定 摆脱 软件 危机 的 对 
策 。 在 那 次 会 议 上 提出 了 “软件 工程 ”的 理念 。 随 着 软件 工程 的 发 展 ， 软 件 测试 也 
开始 逐步 友 展 起 来 。 


1975 年 ， 两 位 软件 测试 先驱 John Good Enough 和 Susan Cerhart 在 IEEE 上 发 表 了 
《软件 数据 选择 的 原理 》， 将 软件 测试 确定 为 一 种 研究 方向 。 此 时 软件 测试 普遍 被 
定义 为 “证 明 软 件 的 工作 是 正确 ”的 活动 ， 这 个 理念 被 简称 为 “证 实 ”。 


1979 年 ，Glenford J] .Myers 的 著名 的 《软件 测试 艺术 》 一 书 出 版 ( 此 书 到 现在 已 
经 第 三 版 ， 依然 被 大 多 数 软 件 测试 人 员 奉 为 经 典 ) 。 该 书 结合 测试 心理 学 ， 对 测试 
重新 进行 了 定义 ， 认 为 测试 是 为 了 “发 现 错误 而 执行 的 活动 ”， 这 个 理念 又 被 称 
为 “证 伪 ”。“ 证 实 ” 和 “证 伪 ” 至 今 依然 是 软件 测试 领域 重要 的 理念 ， 对 软件 测 
试 工程 师 有 着 深远 的 影响 。 


1983 年 ， 另 一 本 软件 测试 的 重量 级 闭 作 一 一 《软件 测试 完全 指南 》 ( Bill Hetzel 
车 ) 横 空 出 世 。 这 本 书 指出 : “测试 是 以 评价 一 个 程序 或 者 系统 属性 为 目标 的 任何 
一 种 活动 ， 测 试 是 对 软件 质量 的 度量 。” 至此， 人们 已 经 开始 意识 到 ， 软 件 测试 不 
应 该 仪 是 事后 用 来 证 明 软 件 是 对 的 或 是 不 对 的 ， 而 应 该 走 向 前 病 ， 进 行 缺陷 预防 。 


28 世 纪 96 年 代 ， 软 件 测试 开始 迅猛 友 展 。 软 件 测试 工具 开始 盛行 ， 极 大 地 提升 了 软 
件 测试 的 能 力 ， 同 时 目 动 化 测试 技术 也 开始 迅猛 友 展 ， 各 种 对 软件 测试 系统 的 评估 
方法 也 开始 被 提出 ， 如 1996 年 提出 的 “测试 成 熟 度 模型 ( TMM ) ”“ 测 试 能 力 成 熟 
度 模 型 ( TCMM ) ”等 。 软 件 测试 体系 日 益 成 熟 完 善 。 


2662 年 ，Rick 和 Stefan 在 《系统 的 软件 测试 》 一 书 中 对 软件 测试 做 了 进一步 定 
义 : “测试 是 为 了 度量 和 提高 被 测 软件 的 质量 ， 对 测试 软件 进行 工程 设计 、 实 施 和 
维护 的 整个 生命 周期 过 程 。” 这 一 定义 进一步 丰富 了 软件 测试 的 内 容 ， 扩展 了 软件 
测试 的 外 延 。 


阅读 软件 测试 的 简 史 你 会 友 现 ， 软 件 测试 的 友 展 史 其 实 束 是 一 部 探索 “什么 是 软件 
测试 ， 我 们 该 如 何 理 解 叱 、 友 展 它 ”的 历史 。 软 件 测试 从 软件 开 友 中 的 “调试 ”， 
到 “证 明 软 件 工 作 是 对 的 ”， 再 到 “证 明 软 件 工 作 存 在 错误 ”， 青 到 “预防 ” ， 早 
已 不 再 践 蹦 学 步 、 懂 慌 无 知 。 软 件 测试 已 经 逐渐 形成 了 自己 的 一 套 体系 ， 拥 有 自己 
的 成 熟 度 评价 万 法 。 随 着 软件 开 友 的 友 展 ， 敏 捷 、 和 过 代 等 各 种 软件 开 友 实践 也 给 软 


件 测试 寓 来 很 多 新 的 挑战 ， 产 生 了 更 多 软件 测试 的 新 技术 和 新 理念 。 但 是 我 们 又 友 
现 ， 这 份 软 件 测试 的 友 展 简 史 ， 是 一 份 “ 西 方 ”的 软件 测试 史 ， 尽 管 各 种 软件 测试 
技术 层出不穷 ， 但 在 软件 测试 方面 ， 中 国 还 是 西方 的 跟随 者 。 那 么 中 国 的 软件 测试 
行业 又 有 哪些 特点 呢 ?下面 我 们 将 进行 分 析 。 


1.2 中 国 的 软件 测试 行业 


概括 来 说 ， 中 国 的 软件 测试 行业 有 个 很 重要 的 特点 ， 就 是 它 的 起 点 很 高 。 但 是 中 国 
软件 测试 的 高 起 点 似乎 没有 能 够 很 好 地 持续 下 来 。 软 件 行业 对 软件 测试 的 不 理解 
( 或 是 片面 的 理解 ) 让 软件 测试 陷入 困境 和 迷 局 ， 下 面 我 们 将 分 别 进行 分 析 前 述 。 


1.2.1 软件 测试 整体 起 点 较 高 


随 着 中 国 软件 行业 的 友 展 ， 在 产品 复杂 度 提 升 、 软 件 产 品 工程 化 需求 和 对 产品 质量 
更 高 追求 等 内 因 的 推动 下 ， 国内 一 些 公司 也 开始 成 立 独 立 的 测试 部 ， 中 国 开始 出 现 
第 一 代 软 件 测试 人 员 。 


中 国 的 第 一 代 软 件 测试 人 员 走 的 并 不 是 一 条 “一 穷 二 日 ”的 路 ， 此 时 西方 软件 测试 
领域 已 经 建立 了 较为 完整 的 软件 测试 体系 架构 ， 各 种 软件 测试 理念 和 方法 都 可 供 中 
国 软件 测试 人 员 学 习 参 考 ， 所 以 中 国 的 软件 测试 在 理论 上 的 起 点 是 很 高 的 。 


Marine L.Hutcheson 在 她 的 Software Testing Fundamentals : Methods and 
Metries ( 《软件 测试 基础 : 方法 与 度量 》 ) 一 书 中 提 到 ， 在 西方 一 些 企业 ， “一 
个 出 色 的 分 析 人 员 在 具有 5 年 代码 评审 和 编写 设计 规格 说 明 经 验 之 后 被 提升 为 编程 人 
员 ， 在 具有 5 年 的 开 上 友 经 验 后 ， 非 冲 优 秀 的 开 友 人 员 有 和 希望 提升 到 系统 测试 组 中 ”。 
可 见 ， 在 西方 一 些 软 件 企业 中 ， 对 软件 测试 人 员 的 要 求 是 非常 高 的 ， 这些 人 员 都 有 
开发 经 验 。 这 其 实 和 中 国 的 第 一 代 软 件 测 试 人 员 的 经 历 较 为 吻合 : 他 们 中 有 很 大 一 


部 分 都 是 从 软件 程序 员 直 接 转 岗 的 ， 有 一 定 的 编码 能 力 ， 对 系统 的 实现 细节 理解 深 
入 。 所 以 思 体 来 说 ， 中 国 的 软件 测试 开 了 个 好 头 儿 ， 起 点 是 较 高 的 。 随 着 测试 行业 
的 进一步 友 展 ， 这 批 软件 测试 人 员 大 都 友 展 成 了 软件 测试 行业 的 领军 人 物 。 


1.2.2 软件 测试 的 困境 和 迷 局 
中 国 的 软件 测试 虽然 起 点 较 高 ， 但 是 软件 测试 的 发 展 似 乎 没有 想象 中 那么 顺利 。 


其 实 每 个 行业 除了 有 上 自身 领域 外 ， 还 有 属于 目 己 的 “生态 系统 ”。 属 于 软件 测试 的 
生态 系统 主要 包括 后 备 软件 测试 人 员 、 软 件 开 友 人 员 和 软件 管理 决策 者 。 后 备 软件 
测试 人 员 是 软件 测试 的 生力军 ， 为 软件 测试 提供 新 鲜血 液 ; 软件 开 友 人 员 是 软件 测 
试 人 员 最 紧密 的 合作 者 ; 软件 测试 并 不 是 一 个 独立 的 行业 ， 决 定 软 件 测试 人 员 友 展 
的 并 不 仅仅 是 软件 测试 的 管理 者 ， 软 件 管理 决策 者 也 参与 其 中 。 这 构成 了 一 条 属于 
软件 测试 的 生物 链 ， 如 图 1-1 所 示 。 


软件 管理 
决策 者 


软件 开发 软件 测试 


人 员 人 员 


后 备 软件 


测试 人 员 





1-1 软件 测试 领域 的 生物 链 


在 中 国 ， 这 条 软件 测试 生物 链 似乎 存在 一 些 困境 。 
1. 后 备 软件 测试 人 员 对 软件 测试 不 了 解 


随 着 软件 测试 行业 的 友 展 ， 通 过 校园 招聘 ， 从 计算 机 科学 等 相关 学 科 的 大 学 毕业 生 
中 招聘 软件 测试 工程 师 成 了 招聘 软件 测试 工程 师 的 主要 途径 。 但 是 国内 能 够 提供 专 
业 的 软件 测试 课程 的 高 校 并 不 多 ， 大 部 分 毕业 生 甚 至 从 来 没有 听 说 过 “软件 测 

试 ” 这 个 职位 。 在 缺乏 引导 的 情况 下 ， 学 生 们 对 软件 测试 的 理解 比较 片面 ， 他 们 甚 
全 直接 认为 软件 测试 是 不 重要 的 。 


根据 我 的 了 解 ， 很 多 毕业 生 在 校园 招聘 的 时 候 ， 并 不 会 主动 选择 软件 测试 岗位 ; 一 
些 同 学 在 得 知 会 被 分 配 到 测试 部 后 ， 十 分 泪 形 ， 有 的 还 会 为 此 毁约 。 


虽然 也 有 一 些 毕 业 生 会 主动 选择 软件 测试 ， 但 是 也 并 非 完全 是 出 于 对 软件 测试 的 了 
解 ， 有 的 是 因为 性 别 ( 比如 女性 会 被 告知 做 软件 测试 比较 合适 ， 因 为 女性 单单 被 认 
为 不 适合 从 事 逻 辑 性 强 的 编程 工作 ， 而 且 女 性 给 人 的 感 党 比较 细心 ， 细 心 确实 是 软 
件 测试 需要 的 品质 ) ; 有 的 是 因为 编程 能 力 不 强 ， 目 党 无 法 胜任 软件 开 上 友 的 职位 ， 
于 是 将 软件 测试 作为 “ 备 胎 ”， 先 凑合 着 干 。 


抱 有 上 述 心 态 的 “后 备 军 ”进入 软件 测试 行业 后 ， 如 果 缺 乏 正 确 的 引导 ， 他 们 就 很 
容易 偏离 软件 测试 本 身 的 角色 。 他 们 中 的 一 些 软 件 测试 工程 师 可 能 有 很 强 的 编码 情 
节 ， 认 为 只 有 写 代码 才 是 最 有 技术 合 量 和 最 有 前 途 的 事情 ， 但 目前 的 测试 工作 可 能 
不 仅 不 需要 编码 ， 甚 全 连 看 代码 的 权限 都 没有 。 相 比 开 友 ， 他 们 会 逐渐 党 得 目 己 从 
事 的 测试 工作 没有 什么 技术 含量 ， 没 有 前 途 。 另 一 些 软件 测试 工程 师 可 能 又 会 走 所 
另外 一 个 极 鼎 ， 将 产品 质量 问题 和 编码 的 软件 开 友 人 员 直 接 对 应 起 来 ， 总 是 党 得 软 
件 开 友人 员 的 水 平 很 差 ， 对 软件 开发 人 员 抱 着 一 种 “ 误 其 不 幸 、 怒 其 不 争 ” 的 态 


度 ， 不 能 很 好 地 和 软件 开 友 人 员 沟 通 合 作 ， 最 后 无 法 真正 做 好 软件 测试 工作 。 
2 .软件 管理 决策 者 对 软件 测试 缺乏 正确 理解 


同时 管理 着 软件 开发 和 软件 测试 的 软件 管理 决策 者 ， 常 常会 在 资源 、 晋 升 通道 上 偏 
向 软件 开 友 ， 而 忽略 软件 测试 。 


这 是 因为 ， 在 市 场 驱动 下 ， 软 件 管理 决策 者 往往 会 认为 软件 测试 是 一 种 “开销 ” ， 
而 并 不 是 “价值 创造 者 ”， 有 时 候 软 件 测试 甚至 被 认为 是 对 产品 按时 友 布 有 负面 影 
响 的 障碍 ， 不 愿意 给 测试 足够 的 资源 。 例 如 ， 在 产品 测试 中 ， 开 发 发 布 版 本 延迟 ， 
但 是 测试 结束 时 | 间 并 没有 顺延 ， 而 是 压缩 测试 时 间 ， 来 保证 研发 项 目 进 度 。 


除 此 之 外 ， 很 多 管理 决策 者 对 “软件 测试 ”的 理解 其 实 都 不 够 深入 ， 认 为 测试 的 价 
值 就 是 在 不 断 测试 中 找 bug， 认 为 bug 友 现 得 越 多 产品 质量 束 会 越 好 ， 不 理解 测试 策 
略 、 测 斌 设计、 测试 总 结 等 测试 活动 对 产品 的 作用 和 和 意义。 软件 测试 人 员 并 没有 在 
正确 的 阶段 做 正确 的 事 ， 软 件 测试 人 员 更 多 的 “价值 ” ( 如 缺陷 预防 ) 无 法 体现 ， 
而 是 陷入 过 早 测试 或 者 盲目 追 求 软件 测试 自动 化 率 中 ， 虽 然 整 个 项 目 组 看 起 来 很 
忙 ， 但 是 效率 低下 ， 投 入 产 出 比 很 低 。 


3. “喜忧参半 ” : 软件 测试 外 包 


托马斯 : 弗 里 德 曼 有 一 本 著名 的 书 叫 《世界 是 平 的 》， 书 中 将 “外 包 ” 作 为 21 世 
纪 “ 铲 平 ” 世 界 的 十 大 动力 之 一 。 外 包 的 好 处 是 显而易见 的 : 站 在 运营 的 角度 ， 外 
包 可 以 让 你 更 加 关注 核心 业务 ， 可 以 帮助 你 建立 弹性 的 人 力 资 源 构成 。 


软件 测试 外 包 让 软件 测试 “ 火 ” 了 起 来 。 在 很 多 网 页 上 都 可 以 看 到 软件 测试 外 包公 
司 或 者 培训 机 构 打 出 “年 新 1 万 ”“ 进 586 强 企业 ”等 广告 ， 诱 惑 力 十 足 。 


但 是 “外 包 ” 同 样 也 暗示 着 ， 对 很 多 公司 来 说 ， 在 公司 发 展 策略 上 并 没有 将 “软件 
测试 ”作为 核心 、 重 要 的 业务 去 友 展 。 所 以 我 认为 软件 测试 外 包 对 软件 测试 行业 来 
说 是 “喜忧参半 ”. 


“ 喜 ” 的 是 软件 测试 外 包 扩大 了 软件 测试 队伍 ; “ 忧 ”的 是 公司 在 执行 软件 测试 外 
包 或 软件 测试 执行 外 包 策略 后 ， 极 有 可 能 削弱 在 软件 测试 方面 的 投入 ， 减 少 对 非 外 
包 软 件 测试 员工 的 培训 和 职业 上 友 展 方面 的 考虑 。 


对 软件 测试 外 包 员 工 来 说 ， 他 们 虽然 可 以 在 软件 外 包公 司 得 到 较为 专业 、 系 统 的 测 
试 技术 方面 的 培训 ， 但是“ 外包” 行业 本 身 的 特点 束 决 定 了 软件 测试 外 包 人 员 会 较 
为 频繁 地 更 换 测 试 产品 ， 对 产品 实现 的 理解 不 会 太 深 入 。 而 对 产品 测试 经 验 持续 的 
积累 、 对 产品 实现 不 断 深入 的 理解 又 正 是 深入 软件 测试 的 两 大 必要 条 件 。 加 上 “外 
包 ” 行 业 本 身 存 在 着 缺乏 归属 感 、 缺 乏 晋 升 空间 等 问题 ， 软 件 测试 外 包 人 员 束 更 难 
在 软件 测试 领域 深入 发 展 了 。 


1.2.3 迷茫 的 软件 测试 工程 师 


软件 测试 工程 师 在 工作 中 常常 扮演 着 用 户 的 角色 ， 但 是 大 家 干 万 不 要 一 看 到 “用 
户 ” 融 马上 联想 到 “上 帝 ”“， 认 为 软件 测试 工程 师 的 工作 很 舒服 。 在 实际 工作 中 ， 
每 个 产品 在 上 友 布 前 都 会 有 很 多 人 版 本 ， 软 件 测试 工 程 师 在 每 个 版 本 中 都 要 模拟 用 户 使 
用 的 各 种 场景 ， 思 历 用 户 可 能 会 使 用 到 的 各 种 输入 参数 ， 通 过 系统 输出 来 判断 这 些 
操作 结果 是 否 能 够 满足 预期 。 其 中 很 多 操作 都 是 重复 的 ， 这 残 需要 软件 测试 工程 师 
有 一 份 “ 外 在 ”的 细致 和 耐心 。 


除了 “外 在 美 ”， 软 件 测 试 还 要 求 软件 测试 工程 师 有 “内 涵 ” 一 一 懂 用 户 。 他 们 不 
仅 要 保证 产品 满足 用 户 明 确 提出 的 功能 需求 ， 还 需要 理解 在 这 些 功 能 育 后 隐藏 


的 “潜在 ”需求 ， 如 性 能 、 可 靠 性 、 易 用 性 、 可 操作 性 、 可 移植 性 等 。 可 见 ， 要 想 
内 外 兼 修 ， 真 正 做 好 做 深 软件 测试 ， 绝 对 不 是 一 件 容 易 的 事情 。 


软件 测试 在 “人 入门” 上 相对 软件 开 友 的 确 要 容易 些 ， 但 是 软件 测试 和 软件 开 友 不 同 
的 是 ， 软 件 开 友 人 员 只 需要 理解 目 己 负责 的 模块 残 可 以 胜任 工作 ， 而 软件 测试 则 需 
要 对 整个 系统 都 要 有 整体 的 把 握 ， 需要 站 在 用 户 的 角度 去 理解 需求 ， 所 以 软件 测试 
比 软件 开 友 更 难 深 入 。 


但 现实 是 ， 测试 “深入 难 ” 的 这 个 特点 往往 被 忽视 ，“ 门 槛 低 ， 却 被 放大 。“ 门 槛 
低 ” 的 另 一 层 意 思 就 是 “ 谁 都 能 做 ”， 技 术 合 量 不 高 。 在 这 种 背景 下 ， 软 件 测试 工 
程 师 在 职业 友 展 上 目 然 很 难受 到 重视 。 


国内 某 知 名 软件 测试 网 站 《中 国 软 件 测试 从 业 人 员 调 查 报告 》 ( 2611 年 ) 中 的 调查 
数据 指出 ，2611 年 软件 测试 从 业 人 员 所 在 公司 中 ，52% 的 公司 对 测试 人 员 的 职业 规 

划 不 明确 ，26% 的 公司 对 测试 人 员 没 有 职业 规划 ， 只 有 22% 的 公司 对 软件 测试 人 员 有 
明确 的 职业 规划 。 而 且 纵 向 对 比 2616 年 和 2611 年 的 调查 数据 可 发 现 ， 这 两 年 的 数据 
并 没有 明显 变化 。 


对 那些 工作 了 两 三 年 的 软件 测试 工程 师 来 说 ， 他 们 在 产品 和 软件 测试 技术 上 都 有 了 
基本 的 认识 ， 足 以 胜任 每 天 的 日 党 工作 后 ， 很 上 自然 束 会 开始 寻找 新 的 友 展 万 向 和 目 


标 。 


一 个 友 展 方向 是 软件 测试 管理 。 但 软件 测试 的 管理 职位 其 实 并 不 多 ， 即 使 是 有 独立 
测试 部 门 的 大 中 型 公司 ， 也 只 会 到 高 级 测试 经 理 级 别 ， 更 别提 那些 没有 独立 测试 部 
门 的 小 企业 了 。 所 以 软件 测试 工程 师 在 测试 管理 方面 想 要 有 所 友 展 ， 不 仪 需 要 能 
力 ， 还 需要 机 遇 。 


软件 测试 在 技术 方面 又 有 哪些 友 展 呢 ? 


要 想 在 技术 方面 有 所 友 展 ，“ 深 入 ”是 必需 的 。 这 本 来 束 不 是 一 件 容易 的 事情 ， 而 
软件 测试 技术 在 “深入 ”上 又 比 其 他 领域 更 难 一 些 ， 可谓 “ 难 上 加 难 ”。 当 软件 测 
试 工 程 师 开始 进入 软件 测试 职业 友 展 的 平台 期 ， 变 得 迷 荡 、 困 惑 ， 看 不 清 自己 未 来 
的 上 太 展 方向 ， 需 要 指引 时 ， 又 往往 找 不 到 方向 。 我 的 一 位 前 厘 曾 经 拿 “ 布 明 运 

动 ” 来 形容 他 自己 在 平台 期 的 感觉 ， 我 党 得 这 个 比喻 是 非常 贴切 的 。 正 如 《 奥 德 
赛 》 中 摘 述 的 一 样 ， 还 有 什么 比 徘 徊 不 前 更 让 人 感到 难受 的 呢 ? 


职业 发 展 遇 到 “ 瓶 贷 ” 本 来 是 一 件 非 党 正常 的 事情 ， 但 是 如 果 这 种 情况 得 不 到 改 
善 ， 老 是 处 于 平台 期 的 状态 ， 却 是 “致命 ”的 。 在 我 身边 ， 残 有 很 多 从 事 测 试 工作 3 
年 左右 的 同事 离职 或 者 转岗 。《 中 国 软 件 测试 从 业 人 员 调 查 报告 》 ( 2811 年 ) 也 指 
出 ， 中 国 软件 测试 行业 有 超过 七 成 的 从 业 人 员工 作 年 限 是 6~3 年 ， 只 有 18% 的 人 是 
3~5 年 。 需 要 注意 的 是 ， 这 个 比值 从 2689 年 开始 就 没有 发 生 过 变化 。 这 说 明 中 国 软 
件 测试 人 员 在 工作 经 验 的 分 布 上 并 不 合理 ， 缺 乏 持 续 性 。 我 们 在 不 断 “ 丢 失 ” 工 作 3 
年 左右 的 、 有 经 验 的 测试 工程 师 ， 如 果 这 种 情况 一 直 持 续 下 去 ， 很 难说 中 国 的 软件 
测试 不 会 “青黄不接 ”。 


所 以 我 想 对 中 国 的 软件 测试 来 说 ，3 引 进 测试 技术 ， 提 升 产品 知识 ， 追 求 更 完美 的 测 
试 流程 ， 或 许 都 不 是 最 重要 的 。 我 们 需要 讨论 “发 展 ， 在 软件 测试 工程 师 职 业 发 
展 出 现 困惑 迷 荡 的 时 候 ， 可 以 为 他 们 解 惑 。 


1.3 认识 软件 测试 的 优势 和 务 势 
我 们 需要 先 对 软件 测试 进行 一 场 “ 再 ”认识 。 


从 “成 熟 度 ” 来 讲 ， 软 件 开 友 行业 的 整体 成 熟 度 更 高 ， 人 们 对 软件 开 友 的 理解 也 更 


为 全 面 深 入 。 正 因为 这 样 ， 人 们 也 更 习惯 将 软件 测试 和 软件 开 友 放 在 一 起 比较 。 虽 
然 软 件 开 友 和 软件 测试 都 属于 产品 研发 ， 但 是 人 们 的 关注 点 是 不 同 的 。 软 件 开 发 偏 
则 “创造 ”， 而 软件 测试 却 偏向 “验证 ”和 “确定 ”， 所 以 软件 开 友 和 软件 测试 对 
技能 要 求 也 是 不 同 的 。 


人 们 将 软件 测试 和 软件 开 友 放 在 一 起 比较 的 时 候 ， 容 易 陷入 “用 软件 开 友 的 要 求 来 
评价 软件 测试 ”的 思维 中 ， 只 看 到 软件 测试 和 软件 开 友 相 比 的 弱势 ， 却 看 不 到 软件 
测试 目 身 的 优势 。 


那么 作为 软件 测试 ， 和 软件 开 友 相 比 ， 又 有 哪些 优势 呢 ? 


1.3.1 软件 测试 的 优势 


时 然 软件 测试 存在 不 少 困境 和 迷 局 ， 但 是 这 并 不 能 掩 善 软件 测试 目 身 的 优势 。 


和 软件 开 友 相 比 ， 软 件 测 试 入 门 相 对 更 容易 些 。 这 是 软件 测试 行业 的 一 大 特点 ， 其 
实 也 是 软件 测试 的 优势 之 一 。 较 低 的 “门槛 ”给 了 软件 测试 行业 和 软件 测试 从 业者 
更 多 的 选择 余地 。 一 些 企业 在 招聘 软件 测试 人 员 的 时 候 ， 不 一 定 只 招聘 有 计算 机 、 
通信 相关 经 验 的 人 ， 他 们 可 能 会 根据 产品 的 特点 ， 招 聘 一 些 更 能 理解 产品 和 用 户 需 
求 的 人 员 ， 如 金融 、 财 会 专业 的 人 等 ， 所 以 软件 测试 从 业者 可 以 是 “ 杂 家 ”， 或 者 
说 对 某 些 领 域 来 说 ，“ 杂 家 ”反而 更 适合 软件 测试 。 从 软件 开发 相对 “封闭 ”的 行 
业 特 点 来 说 ， 软 件 测试 就 要 “开放 ”多 了 。 另 外 对 想 改 行 从 事 软件 研发 工作 的 人 来 
说 ， 选 择 “ 软 件 测试 ”作为 转型 的 切入 点 也 是 比较 合适 的 。 


在 软件 开 友 项 目 中 ， 大 多 数 软件 开 友 工程 师 都 会 被 分 配 一 个 或 几 个 “模块 ”来 编码 
实现 ， 几 个 软件 开发 工程 师 合 作 才 能 完成 一 项 功能 是 非常 普遍 的 现象 。 这 种 割裂 式 
的 开 友 工作 模式 ， 让 其 中 的 软件 开 及 工程 师 很 难 理解 产品 的 全 狐 ， 长 至 不 知道 最 终 


用 户 会 如 何 使 用 目 己 的 产品 。 相 对 来 况 ， 软 件 测试 人 员 是 产品 研 上 友 团 队 中 最 理解 产 
品 全 狐 、 最 理解 用 户 的 人 ， 这 是 由 软件 测试 的 工作 内 容 决定 的 。 


软件 测试 人 员 不 必 关 心 产 品 究竟 是 如 何 编码 实现 的 ， 不 必 天 心 用 的 是 c 语 言 还 是 
c++， 不必 天 心 这 部 分 代码 是 软件 开 友 人 员 从 网 上 复制 下 来 的 还 是 目 己 原创 的 ; 他 们 
需要 天 注 的 是 “产品 的 实现 是 否 和 开 妈 承诺 要 实现 的 功能 是 一 致 的 ”， 这 让 测试 人 
员 目 然 会 去 关注 “功能 ”， 理 解 产 品 的 全 貌 ， 而 不 会 陷入 实现 细节 。 


软件 测试 人 员 还 会 对 产品 进行 “ 黑 盒 测试 ”， 这 种 看 似 “ 摸 上 里 ”的 系统 测试 方法 ， 
需要 站 企 用 户 的 角度 分 析 用 户 使 用 场景 ， 所 以 软件 测试 人 员 必 须 想 办 法 去 全 面 理解 
用 户 ， 不 仅 要 理解 用 户 明确 的 需求 ， 还 要 理解 用 户 “ 隐 形 ” 的 需求 ， 如 用 户 的 使 用 
习惯 、 用 户 行业 潜在 规则 等 。 所 以 在 产品 研 友 领域 ， 测 试 人 员 才 是 最 理解 用 户 的 
人 。 


在 大 多 数 人 的 印象 中 ， 软 件 开 友 整 天 面 对 者 电脑 ， 两 耳 不 闻 窗 外 事 ， 十 指 翻 《只 为 
编写 程序 ， 是 一 个 很 “ 宪 ” 的 职业 。 你 干 万 不 要 以 为 软件 测试 也 是 一 样 的 ， 和 软件 
开发 相 比 ， 软 件 测试 人 员 需 要 有 一 定 的 沟通 交流 能 力 ， 这 不 仅 有 助 于 就 产品 测试 中 
上 友 现 的 pug 和 开 友 人 员 进 行 沟通 ， 更 重要 的 是 ， 在 很 多 企业 ， 软 件 测 试 人 员 都 会 作为 
产品 研 上 友 的 接口 ， 在 用 户 出 现 问题 的 时 候 和 用 户 进行 沟通 。 除 此 之 外 ， 想 要 做 好 测 
试 ， 协 调 能 力 、 风 险 评估 和 能力、 数据 统计 分 析 能 力 和 报告 撰写 能 力 都 是 必 不 可 少 
的 “ 软 技能 ”。 所 以 和 软件 开 友 要 求 “ 深 度 ” 不 同 ， 软 件 测试 更 注重 “ 广 厦 ”， 要 
求 软件 测试 人 员 是 “多 面 手 。， 有 很 强 的 综合 能 力 。 


软件 测试 的 这 一 特点 ， 让 软件 测试 人 员 可 以 有 更 多 的 职业 外 延 可 供 选 择 。 换 句 话 
说 ， 即 使 一 名 软件 测试 工程 师 在 从 事 了 几 年 软件 测试 工作 后 转行 ， 无 论 他 是 改行 做 
销售 、 客 服 或 其 他 工作 ， 都 可 以 很 快 上 手 ， 得 到 认可 。 这 是 因为 软件 测试 人 员 对 产 


品 理 解 ， 在 人 研 友 领域 可 能 不 够 “深入 ”“， 但 是 在 非 研 友 领域 却 做 得 很 好 。 在 广度 方 
面 ， 软 件 测试 人 员 不 会 输 于 其 他 非 研发 领域 的 从 业 人 员 ; 对 用 户 需求 的 理解 ， 软 件 
测试 人 员 也 不 会 逊色 ; 而 沟通 协调 、 分 析 总 结 、 风 险 意 识 等 软 能 力也 能 帮助 软件 测 
试 人 员 很 快 掌握 新 领域 的 知识 拉 能 。 所 以 相对 来 说 ， 软 件 测试 人 员 其 实 更 能 适应 这 


员 
个 复杂 多 变 的 社会 。 
1.3.2 软件 测试 的 务 势 
客观 来 讲 ， 和 软件 开发 相 比 ， 软 件 测试 也 存在 很 多 劣势 。 


"入门 低 ”虽然 给 软件 测试 行业 和 软件 测试 从 业 人 员 市 来 了 更 多 的 选择 机 会 ， 但 是 
也 会 导致 软件 测试 在 软件 研 友 领域 的 认可 度 降 低 ， 认 为 软件 测试 是 一 项 相对 简单 、 
没有 技术 含量 ( 或 技术 含量 低 ) 的 工作 。 这 个 “印象 ”直接 导致 了 软件 测试 当前 的 
困境 和 类 局。 


时 然 软件 测试 的 “出 口 ”看 起 来 很 广阔 ， 但 是 和 同 在 软件 研 友 领 域 的 软件 开 友 人 员 
相 比 ， 软 件 测试 在 软件 研 友 领域 的 友 展 却 比 软件 开 友 人 员 有 限 得 多 ， 至少 这 是 现 
状 。 我 们 很 少 看 到 软件 测试 人 员 去 做 产品 研发 管理 工作 ， 成 为 开发 代表 、 产 品 线 经 
理 或 研 上 友 总 监 ; 很 少 看 到 软件 测试 人 员 去 做 系统 染 构 师 ( SE ) 。 很 多 企业 ， 软 件 测 
试 在 管理 上 的 职位 ， 最 高 就 是 测试 代表 或 测试 经 理 ， 在 技术 上 甚至 没有 职位 ， 没 有 
上 友 展 方向 。 


如 果 从 业者 的 职业 发 展 目 标本 就 不 在 产品 研发 ， 而 只 想 熟悉 产品 ， 那 么 软件 测试 无 


疑 是 获得 这 项 经 验 一 种 很 好 的 实践 ; 但 是 如 果 从 业者 的 目标 束 是 软件 测试 ， 最 后 
却 “ 被 旭 ” 转 网， 这 样 的 “ 宽 出 口 ” 束 不 是 “优势 ”， 而 是 当前 软件 测试 的 无 力 之 


外 了。 


第 2 章 软件 测试 工程 师 的 职业 规划 


我 的 一 位 同事 曾经 很 认真 地 问 过 我 一 个 问题 。 他 说 他 现在 从 事 软件 测试 工作 已 经 4 年 
了 ， 但 是 他 不 知道 现在 的 工作 和 自己 在 工作 3 年 时 有 什么 不 同 ， 他 想 旁 观 者 清 ， 也许 
我 能 回答 他 的 问题 。 此 外 他 还 想 知 道 他 做 软件 测试 工作 到 第 5 年 或 第 6 年 会 怎么 样 。 
后 来 他 在 工作 到 第 5 年 的 时 候 转 岗 了 。 昌 然 他 已 经 转 风 了， 但 是 最 近 联 系 时 ， 他 依然 
间 我 这 个 问题 ， 似 乎 这 个 间 题 困惑 他 很 深 、 很 久 了 。 


这 件 事情 对 我 的 触动 很 大 ， 我 相信 这 个 问题 是 种 有 一 定 普遍 性 的 ， 我 也 开始 系统 思 


考 这 个 问题 。 


软件 测试 是 一 个 缺乏 友 展 空间 、 做 到 一 定 阶段 后 只 能 通过 “转岗 ”来 寻找 友 展 机 会 
的 职业 吗 ? 


肯定 不 是 。 


Martin Pol， 欧洲 业界 公认 的 “Test Guru” (大 佬 ,精神 领袖 ) ，1998 年 欧洲 第 
一 届 杰 出 测试 贡献 奖 获得 者 ， 并 获得 英国 骑士 勋章 。Martin 在 测试 领域 已 经 几 十 
年 ， 最 后 在 测试 工作 上 名 利 双 收 。 而 且 ， 据 说 他 的 大 女儿 和 小 女儿 都 是 做 测试 的 ， 
这 是 名 副 其 实 的 “测试 世家 ”.。 

但 是 Martin 的 例子 并 不 能 解决 “软件 测试 本 身 有 哪些 发 展 ” 这 个 问题 。 作 为 “精神 
领袖 ”“，Martin 只 能 让 我 们 看 到 最 美好 的 结果 ， 让 我 们 知道 这 条 路 是 能 走 通 的 。 有 
人 已 经 成 功 了 ， 这 给 了 我 们 信心 和 希望 。 


那么 软件 测试 的 职业 友 展 方向 有 哪些 ? 作为 软件 测试 工程 师 ， 又 该 如 何 为 自己 制订 
职业 发 展 规划 ? 本章 将 就 这 两 个 问题 展开 讨论 。 


2.1 软件 测试 的 职业 发 展 方向 


软件 测试 在 职业 友 展 上 ， 概 括 说 来 可 以 分 为 “管理 ”和 “技术 ”两 大 类 。 除 此 之 
外 ， 软 件 测试 还 可 以 在 质量 领域 友 展 。 


2.1.1 软件 测试 在 管理 上 的 发 展 


软件 测试 管理 是 大 家 比较 熟悉 的 软件 测试 职业 发 展 路 线 之 一 ， 比 较 流 行 的 设置 包括 
测试 组 长 、 测 试 经 理 、 测 试 代 表 、 测 试 主管 、 测 试 总 监 、 测 试 部 长 等 。 不 同 的 公司 
中 相同 职位 的 工作 范围 可 能 略 有 不 同 ， 按 照管 理 级 别 的 高 低 ， 大 致 又 可 分 为 以 下 三 
级 。 


1. 初 级 软件 测试 管理 者 : 测试 组 长 
测试 组 长 一 般 由 有 两 年 左右 工作 经 验 的 测试 工程 师 担当 。 


由 于 企业 的 规模 和 产品 复杂 度 存在 差异 ， 测 试 组 长 可 能 会 管理 2~5 名 软件 测试 工程 
师 。 一 般 来 说 ， 测 试 组 长 不 会 负责 整个 产品 ,只 是 负责 其 中 的 一 个 或 多 个 特性 。 


测试 组 长 并 不 是 完全 的 管理 者 。 他 们 从 事 的 管理 工作 大 多 仪 集中 在 测试 计划 的 制订 
和 执行 上 ; 在 产品 测试 上 ， 他 们 弟 会 负责 产品 重点 、 难 操 的 测试 ; 除 此 之 外 ， 他 们 
还 要 负责 市 新 员工 ， 让 测试 工作 可 以 顺利 进行 下 去 。 


2 .中 级 软件 测试 管理 者 : 测试 经 理 、 测 试 代表 、 测 试 主管 


测 斌 经理、 测试 代表 、 测 试 主管 排名 不 分 先后 ， 都 属于 中 级 软件 测试 管理 者 ， 一 般 
由 有 4 年 左右 工作 经 验 的 测试 工程 师 担 当 。 


中 级 软件 测试 管理 者 负责 的 对 象 为 产品 ， 可 能 会 管理 16~26 名 软件 测试 工程 师 ( 其 中 


包括 测试 组 长 ) 。 


中 级 软件 测试 管理 者 最 重要 的 工作 还 是 运作 测试 项 目 ， 制 订 并 执行 测 放 计划 ， 测 试 
结束 后 还 需要 对 产品 质量 进行 评估 ， 给 出 产品 友 布 建议 。 要 做 好 这 些 ， 需 要 他 们 掌 
握 更 多 的 项 目 省 理 知 识 ， 深 入 理解 项 目 价 值 ， 做 好 项 目 学 围 管理 、 质 量 管 理 、 成 本 
管理 、 时 间 管 理 、 风 险 管理 和 人 力 管理 。 除 此 之 外 ， 他 们 还 要 和 开 友 人 员 、 市 场 人 
员 、 服 务 人 员 等 密切 配合 、 紧 密 合作 ， 其 间 ， 沟 通 协调 能 力 必 不 可 少 。 


他 们 依然 是 产品 测试 的 骨干 ， 还 是 会 负责 产品 测试 的 重点 、 难 点 工作 ， 所 以 他 们 也 
不 是 纯粹 的 管理 者 。 


3 .高 级 软件 测试 管理 者 : 测试 总 监 、 测 试 部 长 


测试 总 监 、 测 试 部 长 是 软件 测试 的 高 级 管理 者 ， 一 般 都 有 16 年 以 上 软件 测试 工作 经 
验 ， 负 责 的 对 象 是 产品 线 或 公司 。 


高 级 软件 测试 管理 者 需要 理解 产品 的 商业 目标 ， 直 接 对 产品 成 功 负责 。 他 们 需要 对 
测试 团队 的 发 展 负 责 ， 进 行人 员 招 聘 和 培养 ， 留 住 关 键 人 才 ， 提 高 或 更 新 不 合格 人 
员 ， 提 升 团 队 的 胜任 力 和 职业 能 力 ; 负责 项 目 财 务 管 理 ( 预算 和 控制 ) ; 负责 资源 
的 计划 与 分 配 ; 持续 改进 测试 能 力 ， 提 升 效率 和 产品 质量 ， 从 测试 的 角度 对 交付 产 
品 的 成 本 、 周 期 和 质量 负责 。 


我 认为 ， 即 使 是 高 级 软件 测试 管理 者 ， 也 不 可 能 是 纯粹 的 管理 者 。 他 们 依然 需要 保 
持 对 软件 测试 各 种 技术 的 领先 性 ， 因 为 软件 测试 技术 是 上 述 工作 能 够 顺利 开展 的 基 
础 。 


2.1.2 软件 测试 在 技术 上 的 友 展 


软件 测试 在 技术 上 的 上 友 展 方向 ， 似 乎 不 像 软 件 测试 在 管理 上 的 友 展 方向 那么 明确 。 
一 种 观点 是 按照 测试 资历 和 能 力 分 为 助理 软件 测试 工程 师 ( 或 者 是 实习 软件 测试 工 
程 师 ) 、 初 级 软件 测试 工程 师 、 中 级 软件 测试 工程 师 、 高 级 软件 测试 工程 师 和 主任 
软件 测试 工程 师 ( 或 是 资深 软件 测试 工程 师 ) 。 但 是 我 认为 这 种 分 类 方式 并 没有 突 
出 “软件 测试 技术 ”， 所 以 我 个 人 更 倾向 于 一 种 简单 的 分 法 一 一 产品 测试 拷 术 和 专 
项 测试 技术 。 





产品 测试 技术 是 指 把 菏 个 具体 ( 或 一 类 ) 产品 测试 得 更 好 的 技术 ; 专项 测试 技术 并 
不 是 针对 具体 的 产品 ， 而 是 测试 领域 普遍 适用 的 技术 。 


1. 产 品 测试 专家 : 软件 测试 架构 师 

软件 测试 在 技术 上 可 以 向 产品 测试 技术 专家 方向 发 展 。 

有 些 公 司 称 产 品 测试 技术 专家 为 软件 测试 系统 架构 师 ( 本 书简 称 为 测试 架构 师 ) ， 
我 认为 这 个 称谓 是 非常 贴切 的 。 

测试 架构 师 和 系统 架构 师 在 职责 上 是 有 一 定 对 应 关系 的 。 


系统 架构 师 在 业务 ( 需求 ) 向 开 皮 技术 转换 的 过 程 中 起 到 了 桥梁 作用 ， 负 责 产品 开 
发 的 整体 架构 设计 ; 测试 染 构 师 是 在 业务 ( 需求 ) 向 测试 技术 转换 的 过 程 中 起 桥梁 
作用 ， 负 责 产品 测试 的 整体 架构 设计 。 


系统 架构 师 负 责 对 产品 开发 中 的 技术 重点 和 难点 进行 研究 与 攻关 ; 测试 架构 师 负责 
对 产品 测试 中 的 测试 重点 和 难点 进行 研究 与 攻关 ， 为 测试 组 织 提供 最 优 的 测试 方 
法 。 


系统 以 构 师 协助 开 友 项 目 经 理 制订 项 目 计划 和 控制 项 目 进度 ; 测试 架构 师 负 责 协助 


测试 经 理 制 订 测 试 项 目 计 划 和 控制 测试 项 目 进 度 。 


系统 架构 师 负 责 组 织 开发 项 目 团队 内 部 的 技术 培训 工作 ; 测试 染 构 师 负 责 组 织 测试 
团队 内 部 的 技术 培训 工作 。 


系统 架构 师 需要 有 一 定 的 战略 规划 能 力 、 业 务 建 模 能 力 、 数 据 分 析 处 理 能 力 、 面 向 
产品 生命 周期 的 质量 保证 和 持续 改进 能 力 ; 测试 架构 师 同 样 需要 这 些 能 力 。 


有 人 评价 系统 架构 师 是 产品 开发 的 “灵魂 ” ， 那 么 测试 架构 师 就 是 产品 测试 的 “ 灵 
瑰 ”。 


2 .专项 测试 工程 师 


软件 测试 在 技术 上 ， 还 可 以 向 专项 测试 工程 师 方 同 友 展 ， 成 为 软件 测试 某 领域 的 专 


i 


系 。 


从 测试 体系 的 角度 来 看 ， 软 件 测试 发 展 至 今 ， 已 经 形成 了 一 套 完 整 的 测试 体系 。 测 
试 体系 中 的 任何 一 个 环节 ， 测试 策略 、 测 试 分 析 设 计 、 测 试 执行 、 测 斌 评估、 测试 
流程 等 每 个 领域 的 内 涵 都 很 丰富 ， 包含 了 很 多 可 以 深入 发 展 研究 的 技术 ， 比 如 自动 
化 测试 技术 、 测 试 工 具 ( 包括 产品 测试 模拟 工具 和 测试 流程 管理 工具 ) 开发 、 缺 陷 
分 析 和 测试 评估 技术 等 。 

从 产品 质量 属性 的 角度 来 看 ， 专 项 测试 技术 还 可 以 包含 性 能 测试 技术 、 可 靠 性 测试 
技术 、 安 全 性 测试 技术 等 。 

实际 上 ， 产品 测试 专家 ( 软件 测试 架构 师 ) 也 需要 精通 上 文 提 到 的 各 项 测试 技术 ， 
如 测试 分 析 和 设计 、 自 动 化 测试 技术 、 性 能 测试 技术 。 但 是 ， 产 品 测试 专家 使 用 的 
任何 技术 都 是 为 产品 服务 的 ， 他 需要 针对 当前 测试 的 特定 产品 选择 最 合适 的 测试 技 


术 ， 并 针对 不 同 的 产品 对 测试 技术 进行 适 配 调整 。 而 专项 测试 技术 专家 并 不 关注 具 
体 产 品 ， 而 是 偏向 技术 共性 方面 的 研究 。 


表 2-1 和 表 2- 2 概括 了 一 些 常见 的 专项 测试 技术 友 展 方向 ， 供 大 家 参考 。 
表 2-1 测试 技术 类 专项 测试 技术 
玉林 名 和 | 股民 方 党 


测试 分 析 、 设 计 技术 测试 设计 技术 专家 测试 评估 缺陷 分 析 技术 专家 
探索 性 测试 技术 专家 


测试 流程 测试 流程 专家 
自动 化 测试 技术 专家 Win 


测试 执行 





表 2-2 质量 属性 类 专项 测试 技术 


质量 属性 名 称 发 展 方向 举例 发 展 方向 举例 
安全 性 测试 技术 专家 
功能 性 ete 另 用 性 测试 技术 专家 
能 性 车 窑 性 测试 技术 专家 用 性 测试 技术 专 务 
Sr 2 中 HHEsI 二 二 小 二 安 和 维 扫 性 稳定 性 测试 技术 专家 
效率 性 能 测试 技术 专家 可 维护 性 可 测试 性 技术 专家 
可 靠 性 可 靠 性 测试 技术 专家 可 移植 性 可 安装 性 技术 专家 











2.1.3 “角色 ”和 “段位 


我 在 做 测试 绩效 辅导 的 时 候 ， 曾 经 有 一 个 困扰 我 很 深 的 问题 : 要 想 一 个 测试 团队 始 
终 保持 一 个 民 好 的 状态 ， 对 团队 成 员 的 有 效 激励 是 必 不 可 少 的 ， 但 是 除了 “ 升 职 加 
薪 ”， 我 想 不 出 其 他 的 方法 。 但 是 我 不 是 老板 ，“ 升 职 加 新 ”并 不 是 我 能 把 控 的 

( 其 实 即使 我 是 老板 ， 能 够 做 主 ， 也 不 可 能 总 是 用 升 职 或 加 薪 来 激励 团队 ) 。 对 一 
位 软件 测试 工程 师 来 说 ， 他 从 一 位 普通 的 测试 工程 师 新 晋升 为 测试 组 长 的 时 候 ， 可 
能 会 干劲 很 足 。 但 是 一 段 时 间 后 ( 或 许 是 一 年 ， 或 许 是 半年 ) ， 他 可 能 又 会 进入 一 
个 新 的 “平台 ”。 如 果 此 时 既 没有 升 职 的 可 能 ， 也 没有 加 薪 的 机 会 ， 我 该 如 何 帮助 
他 度 过 平台 期 呢 ? 


如 果 换 一 个 角度 想 这 个 问题 ， 其 实 就 是 本 章 开头 的 那个 问题 : 如 果 职 位 没有 变化 ， 
工作 两 年 的 测试 工程 师 和 工作 3 年 的 测试 工程 师 差 别 在 哪里 ? 工作 3 年 的 测试 工程 师 
和 工作 4 年 的 测试 工程 师 差 别 又 在 哪里 ? 


直到 有 一 天 ， 当 读 到 了 姜 汝 祥 的 《请 给 我 结果 》 这 本 书 中 一 个 关于 “秘书 九段 ”的 
故事 后 ， 我 突然 找到 了 这 个 问题 的 答案 。 


“秘书 九段 ”的 故事 


总 经 理 要 求 秘书 安排 次 日 上 午 9 点 开 一 个 会 议 。 这 件 事 需要 通知 所 有 参 会 人 员 ， 秘 书 
目 己 也 要 在 会 议 中 做 服务 工作 ， 这 是 “任务 ”。 但 我 们 想 要 的 结果 是 什么 呢 ? 下 面 
是 一 段 至 九段 秘书 的 不 同 做 法 。 


一 段 秘书 的 做 法 : 友 通 知 一 一 用 电子 邮件 或 在 黑板 上 发 个 会 议 通 知 ， 然 后 准备 相关 
会 议 用 品 ， 并 参加 会 议 。 


二 段 秘 书 的 做 法 : 抓 沙 实 一 一 友 通 知之 后 ， 再 打 一 通电 话 与 参 会 的 人 确认 ， 确 保 每 
个 人 被 及 时 通知 到 |。 


三 段 秘书 的 做 法 : 重 检查 一 一 发 通知 ， 落 实 到 人 后 ， 第 二 天 在 会 前 36 分 钟 提醒 与 会 
者 参 会 ， 确 定 有 没有 变动 ， 对 临时 有 急事 不 能 参加 会 议 的 人 ， 立 即 汇报 给 总 经 理 ， 
保证 总 经 理 在 会 前 知悉 缺席 情况 ， 也 给 总 经 理 确定 缺席 的 人 是 否 必须 参加 会 议 留 出 
时 间 。 

四 段 秘书 的 做 法 : 勤 准备 一 一 发 通知 ， 落 实 到 人 ， 会 前 通知 后 ， 去 测试 可 能 用 到 的 
投影 、 电 脑 等 工具 是 否 工作 正常 ， 并 在 会 议 室 门 上 贴 上 小 条 “此 会 议 室 明天 几 点 到 
几 点 有 会 议 ”。 确 认 会 场 安排 到 哪 ， 桌 椅 数 量 是 否 够 用 ; 音响 、 空 调 是 否 正 常 ; 白 


板 、 笔 、 纸 、 本 是 否 充分 ; 自己 的 准备 ， 在 物品 上 、 环 境 上 ， 可 否 满 足 开 会 的 需 


五 段 秘书 的 做 法 : 细 准 备 一 一 发 通知 ， 落 实 到 人 ， 会 前 通知 ， 也 测试 了 设备 ， 还 需 
了 解 这 个 会 议 的 性 质 是 什么 ， 议 题 是 什么 ， 议 程 怎 么 安排 。 然 后 给 与 会 者 发 与 这 个 
议题 相关 的 资料 ， 供 他 们 参考 ( 领导 通常 都 是 很 健 志 的 ， 否 则 区 不 会 经 常 对 过 去 一 
些 决定 了 的 事 ， 或 者 记 不 清 的 事 争 吵 ) 。 目 的 是 让 参 会 者 有 备 而 来 ， 以 便 开 会 时 提 


一 二 人 一 
高 效率 。 


六 段 秘书 的 做 法 : 做 记录 一 一 发 通知 ， 落 实 到 人 ， 会 前 通知 ， 测 试 了 设备 ,也 提供 
了 相关 会 议 资 料 ， 还 在 会 议 过 程 中 详细 做 好 会 议 记录 ( 在 得 到 人 允许 的 情况 下 ， 做 一 
个 录音 备份 ) 。 


七 段 秘书 的 做 法 : 友 记 录 一 一 会 后 整理 好 会 议 记 录 ( 录音 ) 给 总 经 理 ， 然 后 请 示 辟 
经 理会 议 内 容 没有 问题 后 ， 是 人 否 友 给 参加 会 议 的 人 员 或 者 其 他 人 员 ， 要 求 他 们 按照 
会 上 内 容 执行 。 


八 段 秘书 的 做 法 : 定 责任 一 将 会 议 上 确定 的 各 项 任务 一 对 一 地 落实 到 相关 责任 
人 ， 然 后 经 当事人 确认 后 ， 形 成 书面 备 筷 录 ， 交 给 总 经 理 与 当事人 一 人 一 份 ， 以 纪 
要 为 执行 文件 ， 监 督 、 检 查 执行 人 的 过 程 结果 和 最 终结 果 ， 定 期 跟踪 各 项 任务 的 完 
成 情况 ， 并 及 时 汇报 总 经 理 。 


九段 秘书 的 做 法 : 做 流程 一 一 把 上 述 过 程 做 成 标准 化 的 会 议 流程 ， 让 任何 一 个 秘书 
都 可 以 根据 这 个 流程 复制 优秀 团队 ， 把 会 议 服 务 的 结果 做 到 九段 ， 形 成 不 依赖 于 任 
何人 的 会 议 服务 体系 。 





这 个 天 于 “秘书 九段 ”的 故事 给 了 我 很 大 的 局 友 。 测 试 组 长 、 测 试 经 理 、 测 试 染 构 


师 、 测 试 总 监 等 ， 都 是 被 赋 予 了 不 同 责任 的 “角色 ” ，“ 角 色 ” 的 转变 可 以 在 一 定 
程度 上 反映 职业 的 友 展 ， 但 是 不 能 说 “ 友 展 ”一 定 要 “角色 ” 太 生 变化。 从 “ 秘 
书 ” 变 成 了 “老板 ”， 是 “ 友 展 ” 没 错 ， 同 样 从 “一 段 秘 书 ” 升 级 为 “二 段 秘 


所 以 虽然 我 控制 不 了 升 职 和 加 薪 ， 但 我 可 以 通过 “提升 段位 ”来 激励 团队 成 员 。 这 
是 我 可 以 做 到 的 。 


反 过 来 ， 每 个 测试 人 员 ， 是 不 是 都 该 目 问 一 下 ， 人 在 当前 的 测试 工作 中 ， 上 自己 属于 哪 
一 段 ,以 及 如 何 才能 进入 下 一 段 ? 


我 和 我 的 同事 曾经 讨论 出 了 一 个 普通 测试 工程 师 的 “测试 六 段 ， 这 不 是 一 个 所 谓 
的 “标准 答案 ”， 仪 供 大 家 参考 : 


测试 一 段 : 能 根据 测试 用 例 的 描述 步骤 来 执行 测试 用 例 ， 能 对 照 用 例 的 预期 结果 友 
现 产 品 的 问题 ， 能 够 清晰 准确 地 将 问题 记录 下 来 后 反馈 给 开 友 ， 开 友 能 够 读 低 问题 
摘 述 的 含义 ; 

测试 二 段 : 对 产品 需求 有 一 定 的 了 解 ， 能 够 根据 产品 需求 分 析 、 设 计 产 品 的 测试 用 
例 ， 友 现 问 题 后 能 够 进行 初步 定位 ; 

测试 三 段 : 对 产品 的 需求 和 实现 都 有 较为 深入 的 理解 ， 设 计 用 例 时 会 注意 用 例 的 有 
效 性 ， 测 试用 例 时 会 考虑 使 用 目 动 化 测试 等 方法 提升 测试 执行 的 效率 ; 


测试 四 段 : 深入 理解 产品 需求 和 实现 ， 理 解 产品 质量 ， 理 解 产 品 的 隐形 需求 ， 对 产 
品 性 能 、 可 靠 性 、 易 用 性 等 非 功 能 属性 的 测试 均 有 所 涉及 ， 并 掌握 其 中 的 测试 方 
法 ， 会 使 用 测试 缺陷 分 析 技 术 ， 会 评估 产品 质量 ， 


测试 五 段 : 不 断奶 求 最 适合 产品 的 测试 技术 ， 关 注 测试 过 程 改 进 ， 推 动产 品 测试 技 
术 的 进步 ; 


测试 六 段 : 走向 前 端 ， 做 缺陷 预防 ， 能 将 测试 方法 标准 化 ， 并 固化 为 测试 工具 和 流 


程 。 


读 到 此 处 的 朋友 ， 请 你 不 妨 也 为 自己 量 身 定制 一 个 “测试 段位 ”， 并 在 测试 的 职业 
生涯 中 不 断 地 修正 、 丰 富 它 。 相 信 这 个 “段位 "”， 会 在 测试 职业 发 展 中 给 你 带 来 意 
想不到 的 帮助 。 


2.1.4 软件 测试 在 质量 领域 的 发 展 
软件 测试 还 可 以 向 “质量 管理 ”领域 友 展 。 


很 多 人 可 能 会 认为 “软件 测试 ”和 “质量 管理 ”是 可 以 画 等 号 的 。 我 们 人 在 讨论 软件 
测试 友 展 简 史 时 ， 提 到 的 软件 测试 理念 ， 无 论 是 “证 实 ” 还 是 “证 伪 ”， 其 实 都 是 
为 了 “验证 软件 是 否 能 够 满足 用 户 的 需求 ”。 而 “质量 ”是 什么 ? Crosby 认 为 “ 质 
量 融 是 满足 需求 ”， 从 这 个 角度 来 看 ，“ 质 量 ” 和 “测试 ”在 内 部 确实 有 很 强 的 天 
联 。 除 此 之 外 ， 测 试 理念 中 的 “缺陷 预防 ”和 质量 管理 的 思想 也 是 一 致 的 。 所 以 
称 “ 软 件 测试 ”是 一 种 “质量 ”活动 ， 是 没有 问题 的 。 


但 是 ， 我 们 不 能 因此 束 认 为 “质量 ”活动 就 是 “软件 测试 ”。 “质量 ”并 不 是 软件 
领域 独 有 的 ， 早 在 工业 革命 时 期 ，“ 质 量 ” 束 开始 友 展 了 。 当 时 的 质量 叫 “ 质 量 检 
验 ” (QI )， 殊 是 关注 “产品 能 否 符 合 工厂 制定 的 标准 ”。 随 着 社会 生产 力 的 发 

展 ， 产 品 生产 环境 、 生 产能 力 的 提升 ， 质 量 也 有 了 新 的 定义 。 “质量 控制 ” ( Q&C ) 
的 提出 ， 标 志 着 开始 从 用 户 的 角度 来 评价 质量 。 在 IS09866 ( 1986，1994 ) 中 ,又 
进一步 友 展 为 “质量 控制 ( QA ) ” ，“ 质 量 是 设计 出 来 的 ” “质量 残 是 满足 用 户 的 


了 


需求 ”“ 客 户 满意 度 ” 成 为 新 的 质量 发 展 方向 。 现 在 ， 质 量 进一步 发 展 为 “日 越 运 
营 ”， 质 量 已 经 被 提 到 了 企业 战略 的 角度 ，“ 质 量 管理 ”也 成 了 现代 企业 管理 中 非 
常 重要 的 一 个 环节 

从 上 面 这 段 论述 中 可 以 看 出 ，“ 质 量 ” 是 贯穿 产品 全 过 量 ， 而 软件 测试 关 
注 的 是 “产品 质量 ”的 小 质量 。 对 企业 而 言 ， 页 是 质量 管理 中 的 一 个 
方面 ， 除 此 之 外 ， 质 量 管理 还 需要 关注 “交付 质量 ”和 “经营 质量 ”， 最 终 目 标 是 
要 达到 “卓越 运营 ”。 


既然 软件 测试 可 以 认为 是 质量 领域 的 一 个 子 集 ， 软 件 测试 自然 也 适合 在 质量 领域 友 
展 。 主 要 参考 方向 如 下 : 


1 .产品 流程 设计 


负责 企业 在 产品 开发 、 市 场 、 交 付 等 全 流程 体系 建设 。 例 如 ， 著 名 的 集成 产品 开发 
( Integrated Product Develop，IPD ) 流程 。 


质量 大 师 朱 兰 把 “质量 策划 ” “质量 控制 ”和 “质量 改进 ” 称 为 质量 管理 三 部 曲 。 
个 步骤 的 具体 合 义 如 下 : 


每 一 
质量 策划 : 致力 于 制订 质量 目标 并 规定 必要 的 运行 过 程 和 相关 的 资源 以 实现 质量 目 


质量 控制 : 致力 于 满足 质量 要 求 ; 


质量 改进 : 致力 于 增强 满足 质量 要 求 的 能 


企业 质量 管理 者 通过 这 三 部 曲 系统 地 对 企业 的 质量 进行 管理 。 质 量 管理 体系 万 法 可 
以 概括 如 下 : 


-建立 一 个 以 过 程 方法 为 主体 的 质量 管理 体系 ; 
明确 体系 内 各 过 程 的 相互 依赖 天 系 ， 使 其 相互 协调 ; 


-控制 并 协调 质量 管理 体系 各 过 程 的 运行 ， 天 注 其 中 的 天 键 过 程 ， 规 定 关 键 活动 的 运 
作 方 法 和 模式 ; 


-理解 为 实现 共同 目标 所 必需 的 作用 和 责任 ， 减 少 因为 职责 不 明 导致 的 障碍 ， 
在 行动 前 确定 所 需 资 源 的 需求 ; 


' 设 定 系统 目标 以 及 各 个 过 程 的 分 目标 ， 通 过 分 目标 的 实现 ， 确 保 实现 预期 的 总 目 


标 ; 
通过 监控 和 评估 ， 持 续 改进 质量 管理 体系 ， 不 断 提 高 组 织 的 业绩 。 


当然 ， 这 里 的 质量 是 我 们 前 面 提 人 到 的 “大 质量 ”的 概念 ， 不 仅仅 是 指 产品 质量 ， 要 
达到 的 效果 是 企业 整体 质量 的 提升 。 


3 .客户 满意 度 管理 专家 


“客户 满意 ”是 产品 成 功 的 关键 因素 ， 没 有 之 一 。 关 注 客户 的 声音 ， 让 客户 满意 ， 
无 疑 对 产品 质量 提升 有 非常 重要 的 意义 ，“ 客 户 满 意 度 管理 ”也 受到 越 来 越 多 的 关 
注 ， 成 为 质量 管理 的 一 个 重要 内 容 。 


对 “客户 满意 度 管理 ”来 说 ， 重 点 是 要 识别 天 键 用 户 的 满意 要 素 和 做 好 与 用 户 接触 
所 相 关 的 质量 保证 。 


“关键 用 尸 满意 度 要 素 ” 是 指 通 过 对 特定 细 分 市 场 进行 市 场 调查 后 ， 分 析 得 出 这 类 
客户 对 特定 的 产品 质量 要 求 和 服务 属性 ， 并 把 关键 客户 满意 度 要 素 作 为 企业 产品 与 
服务 战略 的 输入 ， 使 企业 最 大 限度 地 保持 产品 竞争 力 ; 而 “用 尸 接触 点 相关 的 质量 
保证 ”是 指 包含 客户 可 以 感知 到 的 产品 和 服务 ， 其 中 服务 包括 产品 推广 、 投 标 达 
标 、 供 货 保障 、 工 程 交 付 、 技 术 支 持 、 备 件 支持 和 客户 培训 | 等。 客户 对 任何 接触 点 
都 会 产生 好 或 者 不 好 的 感知 ， 所 以 需要 定义 各 接触 点 的 关键 、 标 准 动作 ， 并 确保 执 
行 到 位 ， 提 升 客户 感知 质量 。 


客户 满意 度 管理 ， 前 提 还 是 需要 对 用 户 有 很 好 的 需求 和 理解 。 和 软件 测试 不 同 的 
是 ， 这 里 的 客户 需求 ， 已 经 不 仅仅 局 限于 产品 ， 而 是 客户 可 感知 的 方方面面 ， 涉 
面 会 更 广 。 对 于 软件 测试 工程 师 来 说 ， 往 客户 满意 度 管理 方面 友 展 ， 也 是 不 错 的 选 


择 。 
2.2 软件 测试 工程 师 职业 规划 建议 


上 一 节 讨 论 了 软件 测试 工程 师 有 哪些 可 供 参考 的 职业 友 展 方向 。 本 节 主 要 针对 软件 
测试 在 制订 职业 规划 时 可 能 会 遇 到 的 一 些 问题 ， 提 出 个 人 的 处 理 建 议 ， 供 大 家 参 
考 。 


2.2.1 做 管理 还 是 做 技术 


软件 测试 在 职业 发 展 上 可 以 概括 为 “管理 ”和 “技术 ”两 大 类 ， 这 点 大 家 已 经 比较 
明确 了 。 现 在 的 问题 是 ， 该 走 管理 路 线 ， 还 是 该 走 技 术 路 线 呢 ? 


也 许 是 受到 中 国 传统 思想 观念 “学 而 优 则 仕 ” 的 影响 ， 面 对 这 个 问题 ， 很 多 人 会 不 
假 思 索 地 选择 做 管理 ， 甚 至 会 认为 一 个 36 岁 的 软件 测试 工程 师 还 在 做 技术 是 一 件 丢 
人 的 事情 。 其 实 我 们 可 以 先 抛 开 其 他 问题 不 谈 ， 单 纯 从 时 间 上 来 推断 ， 本 科 生 正音 
情况 下 23 岁 毕业 ， 到 38 岁 有 7 年 的 时 间 ; 研究 生 25 岁 毕业 ， 到 36 岁 只 有 5 年 的 时 间 ， 
对 软件 测试 这 种 深入 难 、 且 对 从 业者 绪 合 要 求 很 高 的 职业 来 说 ，5 年 、7 年 其 实 并 不 
算 太 长 ， 对 软件 测试 的 理解 ， 只 能 算是 “ 管 中 帘 鹏 ”而 已 。 所 以 我 建议 软件 测试 工 
程 师 在 计划 职业 友 展 里 程 碑 时 ， 可 以 把 时 间 放 得 更 长 一 些 ，5 年 一 个 小 台阶 ，16 年 一 
个 大 台阶 ， 也许 对 软件 测试 行业 来 说 ， 更 合适 一 些 。 


另外 ， 软 件 测试 在 “技术 方向 ”和 “管理 方向 ”上 又 是 可 以 相互 转换 、 交 叉 发 展 
的 ， 测 试管 理 者 可 以 转岗 为 测试 架构 师 ， 测 试 架 构 师 也 可 以 转岗 为 测试 管理 者 。 
2-1 是 这 种 转换 关系 的 示意 图 。 


管理 方向 技术 方 站 
高 级 软件 测试 
管理 者 专项 测试 
中 级 软件 测试 > 工程 师 
管理 者 


初级 软件 测试 
管理 者 
软件 测试 工程 师 


测试 架构 师 





图 2-1 软件 测试 在 “管理 方向 ”和 “技术 方向 ”上 的 相互 转换 


为 什么 软件 测试 具有 这 样 的 特性 呢 ? 这 是 因为 软件 测试 是 一 门 基于 实践 的 学 科 ， 对 
软件 测试 来 说 ，“ 管 理 ” 不 可 能 是 “绝对 的 管理 ”， 软 件 测试 的 管理 者 首先 要 是 产 


品 测试 技术 专家 ， 这 是 “做 正确 的 事 ” 的 基础 ， 很 难 想象 一 个 不 懂 测试 技术 、 不 理 
解 各 项 测试 活动 的 软件 测试 管理 者 如 何 评估 软件 测试 的 重点 、 难 点 ， 如 何 做 计划 ， 
如 何 评估 风险 控制 项 目 进度 ; 与 此 同时 ， “技术” 也 不 能 是 “绝对 的 技术 ”不 理 
解 “价值 ”“ 目 标 ” 和 “成 本 ”的 技术 人 员 容 易 犯 的 错误 融 是 陷入 “ 唯 技术 


论 ” 中 ,缺乏 “管理 ”思想 会 让 他 们 制定 的 测试 策略 不 切实 际 ， 一 纸 空 文 的 测试 策 
略 是 没有 意义 的 。 


一 个 理想 的 测试 团队 ， 具 有 测试 经 理 ( 测试 代表 ) 和 测试 染 构 师 两 个 角色 。 测 试 经 
理 负 责 管 理 ， 测试 架构 师 负 责 技术 ， 但 并 不 意味 着 测试 经 理 只 省 管理 ， 只 懂 管 理 ， 
测试 架构 师 只 管 拷 术 ， 只 懂 技 术 。 相 反 ， 测 试 经 理 ( 测试 代表 ) 和 测试 染 构 师 要 熟 
悉 彼 此 领域 的 关键 活动 ， 能够 评审 关键 的 交付 件 ， 相 互 能 够 提供 各 自 领 域 关键 活动 
的 决策 参考 ， 可 以 相互 备份 。 测 试 经 理 和 测试 以 构 师 之 间 有 分 工 ， 更 多 的 是 合作 。 


所 以 ， 我 建议 测试 管理 者 一 定 不 要 过 早 地 放 痉 扩 术 ， 走 所 谓 的 “ 纯 管 理 ” 路 线 ， 把 
目 己 陷 入 各 种 管理 会 议 、 沟 通 协调 中 。 不 要 认为 读 了 几 本 书 ， 参 加 了 几 个 沙龙 论 
坛 、 几 次 培训 融 能 掌握 天 键 的 测试 技术 方法 ， 只 有 在 产品 测试 中 不 断 地 实践、 总 
结 、 再 实践 、 再 总 结 ， 才 能 不 断 地 提升 目 己 。 如 果 测 试 技术 有 短 板 ， 测 试管 理 水 平 
也 不 可 能 真正 上 去 ， 随 着 测试 资历 的 加 深 ， 职业 能 力 和 资历 会 变 得 赵 来 越 不 匹配 ， 
个 人 的 职业 友 展 道路 反而 会 越 来 越 窒 。 


对 测试 架构 师 来 说 ， 除 了 产品 测试 技术 外 ， 还 需要 更 深入 地 理解 产品 的 价值 ， 要 围 
绕 如 何 让 产品 成 功 去 做 测试 策略 ， 学 会 取舍 ， 而 不 能 只 站 在 测试 技术 的 角度 去 做 策 
上 略 。 只 有 产品 成 功 了 ， 产品 测试 才 有 资格 去 谈 是 否 成 功 。 失 败 的 产品 ， 测试 得 再 
好 ， 又 有 什么 用 呢 ? 


2.2.2 对 测试 工作 “跳槽 ”的 建议 


在 “跳槽 ”这 个 问题 上 ， 对 软件 测 坛 ， 我 有 以 下 几 操 建议 。 
第 一 ， 不 要 轻易 跳 烧 ， 学 会 “ 赴 光 养 星 ”。 


166 个 人 心中 有 166 个 哈姆雷特 ，1686 个 人 心中 也 有 1688 个 想 跳槽 的 理由 。 但 是 跳槽 原 
因 概 括 起 来 无 非 束 是 两 类 : 一 是 遇 到 难以 解决 的 问题 ; 二 是 现 有 职业 和 自己 的 职业 
规划 不 符 。 


对 第 一 种 情况 ， 我 的 建议 是 : 理性 、 慎 重 ， 再 理性 、 再 愤 重 。 世 界 上 没有 一 个 完美 
的 公司 ， 我 们 在 职场 遇 到 的 很 多 问题 可 能 是 “共性 ”问题 ， 比 如 加 班 、 绩 效 考评 不 
公平 等 ， 很 难 况 通过 跳槽 残 可 以 彻底 解决 了 。 如 果 是 因为 人 事 方 面 的 问题 ， 我 也 建 
议 先 试 着 解决 ， 实 在 解决 不 了 再 离职 。 


对 第 二 种 情况 ， 职 业 友 展 不 能 达到 预期 ， 我 的 建议 是 : 如 果 通 过 跳槽 可 以 获得 更 好 
的 职业 友 展 机 会 和 更 广阔 的 职业 友 展 舞台 ， 比 如 新 公司 比 以 前 的 公司 更 规范 ， 职 业 
发 展 通道 更 明确 ， 或 是 职位 上 有 所 提升 ( 如 从 普通 测试 工程 师 跳 槽 到 其 他 公司 后 车 
升 为 测试 经 理 ) ， 等 等 ， 当 然 是 要 跳槽 的 。 


但 是 我 不 建议 大 家 做 “ 平 级 ”之 间 的 跳动 ， 如 A、B 两 个 公司 在 公司 规模 实力 上 差 不 
多 ， 原 来 在 A 公司 做 软件 测试 工程 师 ,跳槽 后 在 B 公 司 还 是 软件 测试 工程 师 ,我 认为 
这 样 操作 的 意义 是 不 大 的 。 当 然 ， 如 果 B 公 司 提供 了 比 A 公司 高 很 多 的 薪水 ， 也 许可 
以 考虑 一 下 。 这 是 因为 对 大 多 数 公司 来 说 ， 相 同 的 职位 ， 做 的 事情 其 实 是 差不多 
的 ， 这 种 “ 平 级 ”的 跳 模 不 会 对 个 人 能 力 提升 审 来 明显 的 益处 ， 而 且 我 们 要 考虑 适 
应 新 环境 、 新 制度 和 新 的 人 际 天 系 这 类 隐形 成 本 ， 考 虑 熟悉 产品 的 成 本 ， 更 重要 的 
是 ， 很 多 公司 的 HR 对 频繁 跳槽 的 候选 者 会 有 “稳定 性 差 ” 的 印象 ， 当 机 会 真正 降临 
的 时 候 ， 可 能 残 抓 不 住 了 。 


所 以 在 这 个 问题 上 ， 上 策 是 要 学 会 “ 韦 光 养 隆 ”。 软 件 测试 不 仅 需 要 实力 ， 更 需要 
机 遇 。 也 许 你 现在 是 一 名 普通 的 软件 测试 工程 师 ， 你 党 得 你 已 经 可 以 胜任 工程 师 的 
角色 ,希望 可 以 进一步 做 “测试 管理 ”， 但 是 目前 你 所 在 的 公司 又 暂时 提供 不 

了 “测试 管理 ”的 机 会 ， 对 任何 人 来 说 ， 这 都 是 一 件 痛 藻 的 事情 。 此 刻 与 其 自 怨 上 自 
艾 ， 还 不 如 在 日 常 工 作 中 寻找 各 种 做 “测试 管理 ”的 机 会 ， 如 指导 新 同事 工作 、 组 
织 分 享 测试 技术 、 改 进 测试 流程 等 ， 用 心 去 做 这 些 看 似 “ 额 外 ”的 工作 ， 因 为 这 些 
工作 对 你 来 说 可 是 有 “高 附加 值 ” 的 。 另 外 你 还 可 以 观察 那些 优秀 的 测试 管理 者 是 
如 何 处 理 测试 项 目 事务 的 ， 琢 磨 他 们 解决 问题 的 思路 和 方法 ， 这 样 同样 可 以 积累 目 
己 的 经 验 ， 提 升 相关 的 能 力 。 机 会 只 会 垂青 有 ;准备 的 人 。 有 了 这 些 准 备 ， 当 机 会 真 
正 来 临 的 时 候 ， 你 才能 抓 得 住 。 


第 二 ， 跳 槽 时 除了 考虑 公司 ， 还 要 考虑 测试 产品 的 持续 性 。 


要 想 做 好 软件 测试 ， 对 测试 产品 的 深入 理解 是 一 个 重要 的 先决 条 件 。 不 同 的 产品 ， 
用 户 需 求 、 用 尸 的 关注 点 都 会 友 生变 化 ， 之 前 积 替 的 测试 重点 和 难点 、 测 试 方法 、 

失效 规律 ( 哪些 地 方 容易 出 问题 ) 等 经 验 可 能 会 变 得 不 再 适用 了 。 当 一 切 积 累 又 要 
重新 开始 时 ， 对 软件 测试 工程 师 来 说 ， 是 一 件 非 常 可 惜 的 事情 ， 也 是 自身 实力 

的 “ 挥 价 ”。 


所 以 我 建议 软件 测试 工程 师 在 跳槽 时 除了 考虑 公司 、 薪 水 、 职 位 之 外 ， 还 要 考虑 测 
试 产品 的 持续 性 ， 让 之 前 的 经 验 尽 可 能 多 地 “ 复 用 ”。 相 似 的 产品 ， 不 同 的 公司 ， 
还 给 了 你 一 个 站 在 新 的 角度 理解 产品 、 审 视 产 品 测试 的 机 会 。 有 时候 不 同 的 公司 在 
相同 的 事务 处 理 上 可 能 会 完全 不 同 ， 这 可 能 会 让 你 感到 了 矛盾 ， 也 可 能 会 让 你 容 然 开 
明 ， 拓 展 了 思路 ， 加 深 你 对 产品 、 对 测试 的 理解 和 认识 ， 让 你 的 测试 更 加 游 妨 有 


2.2.3 软件 测试 创业 


软件 测试 行业 其 实 也 是 可 以 目 主 创业 的 。 本 节 将 给 出 一 些 软 件 测试 在 创业 方面 的 参 
考 。 


1. 软 件 测试 咨询 


随 着 软件 开 上 友 技 术 的 上 友 展 、 大 批 程序 员 的 清 现 ， 软 件 产品 开 友 的 门槛 变 得 越 来 越 
低 ， 软 件 产品 日 共 同 质 化 ， 用 户 可 选择 面 变 宽 了 很 多 ， 目 然 对 软件 产品 的 质量 提出 
了 越 来 越 高 的 要 求 。 在 这 种 背景 下 ， 产 品 管理 团队 中 对 软件 测试 的 重视 程度 也 越 来 
越 高 。 


但 是 对 很 多 软件 公司 来 说 ， 软 件 测试 依然 是 其 中 最 薄弱 的 环节 之 一 。《 软 件 测试 的 
艺术 》 一 书 的 作者 Glenford J .Myers 在 第 三 版 的 序言 中 写 道 : “读者 可 能 会 以 为 软 
件 测试 发 展 到 现在 不 断 完善 ， 已 经 成 为 一 门 精确 的 学 科 。 而 实际 情况 并 非 如 此 。 事 
实 上 ， 与 软件 开发 的 任何 方面 相 比 ， 人 们 对 软件 测试 仍然 知之 甚 少 。” 如 何 改进 软 
件 测试 ， 提 升 软件 测试 的 能 力 和 水 平 是 摆 在 产品 管理 团队 面前 的 一 道 难题 。 


所 以 在 可 以 预见 的 未 来 ， 对 软件 测试 咨询 的 需求 将 会 越 来 越 多 ， 如 : 
:测试 技术 培训 ; 

:测试 团队 成 熟 度 评估 及 改进 ， 

:测试 流程 建设 ; 

:测试 项 目 改进 ; 


:测试 工具 开发 ; 


2 .软件 测试 高 端 外 包 


现在 软件 测试 外 包 主 要 的 运作 思路 是 将 公司 认为 非 核心 的 部 分 外 包 出 去 进行 测试 ， 
主要 走 “ 低 闯 ”。 


随 着 对 产品 质量 要 求 的 提升 ， 人 们 开始 关心 产品 在 非 功 能 属性 方面 的 表现 能 力 ， 产 
品 的 非 功 能 方面 的 测试 也 开始 变 得 越 来 越 重 要 。 


众所周知 ， 产 品 的 非 功能 属性 包括 性 能 、 安 全 、 可 靠 性 、 易 用 性 、 兼 容 性 等 领域 ， 
每 个 领域 又 有 若干 子 领域 ， 每 个 领域 几乎 都 有 目 己 的 测试 方法 和 测试 工具 ， 雇 用 或 
培训 测试 人 员 擎 握 相 关 的 技能 ， 购 齐 相关 的 测试 工具 ， 再 搭建 测试 环境 进行 测试 ， 
对 任何 一 个 测试 团队 来 说 ， 都 是 一 笔 不 菲 的 开销 。 


软件 测试 高 端 外 包 内 容 针 对 的 就 是 软件 测试 中 的 这 些 重 要 的 非 功 能 属性 进行 的 专项 
测试 。 软 件 公司 选 择 这 部 分 测试 内 容 进行 外 包 ， 不 是 因为 这 部 分 内 容 不 重要 ， 恰 恰 
相反 ， 而 是 因为 这 部 分 内 容 恰好 是 用 尸 关 心 的 内 容 ， 是 产品 质量 重要 的 组 成 部 分 ， 
这 部 分 测试 的 专业 性 和 复杂 性 ， 需 要 找 更 专业 的 测试 人 员 ， 使 用 更 专业 的 方法 ， 来 
对 产品 进行 测试 评估 。 


产品 测试 专家 和 专项 测试 工程 师 ， 都 可 以 考虑 在 软件 测试 高 端 外 包 这 个 领域 一 展 身 
手 。 


3 .测试 工具 开 友 


软件 测试 工具 ， 形 稼 地 说， 融 是 测试 人 员 的 “武器 ”， 虽 然 不 能 襄 拥 有 了 好 的 测试 
工具 ， 束 拥有 了 早 越 的 测试 能 力 ， 但 是 拥有 卓越 测试 能 力 的 团队 一 定 拥 有 大 量 实用 


优秀 的 测试 工具 。 所 以 团队 测试 能 力 和 测试 工具 是 相辅相成 、 相 得 益 彰 的 。 随 着 软 
件 测试 的 友 展 ， 对 专业 测试 工具 的 需求 也 将 日 益 剧 增 。 


软件 测试 工具 也 可 以 分 为 和 产品 相关 的 测试 工具 、 和 测试 技术 相关 的 测试 工具 及 和 
测试 管理 相关 的 测试 工具 。 


和 产品 相关 的 测试 工具 一 般 都 是 为 了 解决 产品 测试 的 具体 问题 而 开发 的 ， 针 对 性 都 
很 强 。 如 产品 性 能 测试 工具 Avalanche、IXIA、LoadRunner ; 产品 安全 性 测试 工具 
Metasploit、BackTrack 等 。 当 然 也 可 以 根据 产品 的 测试 难点 有 针对 性 地 定制 开发 
一 些 工具 ， 如 对 一 些 私 有 协议 开发 协议 异常 测试 工具 、 开 友 模 拟 用 户 大 量 呼 入 的 测 
试 工具 等 。 


和 测试 技术 相关 的 测试 工具 有 针对 产品 特点 的 自动 化 测试 平台 ( 或 二 次 开 友 ) 、 用 
例 设计 工具 等 。 

和 测试 管理 相关 的 测试 工具 有 测试 缺陷 分 析 管 理工 具 ， 测试 需求 、 用 例 跟 路 管理 工 
具 ， 等 等 。 


本 书 由 “ePUBw.COM” 整 理 ，ePUBw.COM 提供 最 新 最 全 的 优质 
电子 书 下 载 ! 


分 突破 : 回 软 件 测 试 染 构 师 的 目 
标 迈进 


第 3 草 软件 测试 架构 师 应 该 做 和 不 该 做 的 事情 
第 4 草 软件 测试 架构 师 的 知识 能 力 模型 
第 5 章 软件 测试 架构 师 的 软 能 力 修炼 


软件 测试 工程 师 是 第 一 个 直面 产品 的 “用 户 ”， 通 过 产品 测试 ， 对 产品 质量 进行 评 
估 ， 为 决策 者 提供 参考 。 干 万 不 要 小 虞 软件 测 试 工程 师 的 测试 结论 ， 因 为 测试 结论 
不 仅 会 影响 产品 的 命运 ( 是 继续 研 友 下 去 ”上 友 布 ? 还 是 终止 项 目 ? ) ， 还 会 影响 整 
个 团队 的 士气 ( 总 也 测 不 完 的 bug 和 辟 也 改 不 完 的 bug， 对 任何 一 个 团队 来 识 都 不 是 
一 件 愉快 的 事情 ) ， 所 以 软件 测试 并 不 是 一 项 简单 的 技术 工作 ， 而 是 一 | ] 需 要 结合 
产品 领域 、 管 理 、 心 理学 和 经 济 学 等 综合 性 的 技艺 。 这 让 我 想起 Glenford ].Myers 
曾 在 他 的 经 典 车 作 中 将 软件 测试 称 为 一 门 “ 艺 术 ”， 也 许 真 的 只 有 “艺术 ”这 个 词 
才能 真正 概括 软件 测试 。 


对 一 个 艺术 团体 来 说 ， 有 位 出 色 的 “ 团 长 ”能 够 管理 好 这 个 团队 固然 重要 ,但 

是 “ 团 长 ”可 能 仪 是 位 职业 管理 者 ， 在 这 个 团队 中 还 需要 有 精湛 艺术 造 记 的 “人 台 
柱 ”， 他 们 用 目 己 对 艺术 深刻 的 理解 、 创 新 ， 赋 予 团队 特有 的 生命 力 ， 好 像 团队 
的 “灵魂 ”。 婚 然 软 件 测试 也 是 一 门 艺术 ， 那 么 在 软件 测试 中 ， 谁 ( 指 角 色 ) 是 这 
个 团队 的 “灵魂 呢 ? 


第 2 章 在 描述 软件 测试 工程 师 有 哪些 职业 发 展 方向 时 谈 到 了 “软件 测试 架构 师 ”。 通 
过 第 2 章 的 叙述 ， 我 们 了 解 到 “软件 测试 以 构 师 ”是 产品 测试 专家 ， 但 是 只 懂 测 试 ， 
或 者 只 懂 产 品 ， 都 无 法 成 为 卓越 的 软件 测试 染 构 师 。 软 件 测试 染 构 师 的 精髓 是 “ 找 

由 最 合适 产品 的 测试 技术 ” ，“ 最 合适 ”这 个 词 本 身 束 有 很 强 的 辨证 意味 ， 需 要 在 
里 解 产品 的 商业 目标 、 成 本 、 技 术 的 基础 上 ， 找到 产品 和 测试 最 合适 的 平衡 点 ， 以 


a 


EH 


此 为 标准 来 确定 测试 策略 ( 这 里 我 们 可 以 先 将 测试 策略 理解 为 测试 万 法 ， 后 文 将 为 
大 家 详细 摘 述 测试 策略 相关 的 内 容 ) 。 举 例 来 说 ， “平台 性 的 产品 。 ( 不 会 直接 发 
布 给 用 户 ) 和 “会 友 布 给 用 户 的 产品 ”使 用 的 测试 策略 是 不 一 样 的 ; “快速 开 友 的 
产品 ”和 “战略 性 产品 ”的 测试 策略 也 是 不 一 样 的 ; “继承 性 的 产品 ”和 “全 新 开 
发 的 产品 ”使 用 的 测试 策略 又 是 不 一 样 的 。 如 果 对 各 种 不 同 的 产品 ， 使 用 一 套 测 试 
策略 ， 这 样 的 产品 测试 无 疑 是 刻板 、 是 缺乏 生命 力 的 ， 也 不 会 是 最 成 功 的 。 除 此 之 
外 ，“ 最 合适 ”还 含有 持续 改进 的 意思 ，“ 最 合适 ”永远 个 会 是 终点 ， 永 远 都 有 可 
以 提升 的 空间 。 针 对 产品 不 断 改进 产品 的 测试 技术 ， 也 是 测试 团队 不 断 成 熟 的 过 


程 。 


写 到 这 里 ， 前 面 问题 的 答案 已 经 跃然 纸 上 了 : 对 软件 测试 来 说 ，“ 软 件 测试 架构 
师 ” 正 是 这 个 团队 中 的 “灵魂 ”。 那 么 对 于 一 名 普通 的 软件 测试 工程 师 来 说 ， 需 要 
如 何 去 做 ， 才 能 进一步 向 软件 测试 架构 师 的 目标 迈进 呢 ? 


本 书 的 第 二 部 分 ， 将 和 大 家 深入 探讨 作为 一 名 软件 测试 架构 师 ， 需 要 关注 哪些 内 
容 ， 需 要 哪些 知识 技能 ， 为 大 家 向 软件 测试 架构 师 目标 迈进 提供 参考 。 


第 3 草 软件 测试 架构 师 应 该 做 和 不 该 做 的 事情 


虽然 目前 国内 很 多 软件 公司 已 经 设置 了 “软件 测试 架构 师 ” 这 个 职位 ， 但 是 忌 的 来 
说 “软件 测试 架构 师 ” 这 个 角色 现在 还 不 够 普遍 。 通 过 第 2 章 的 质 述 ， 我 们 知道 “ 软 
件 测试 架构 师 ” 是 “软件 测试 工程 师 ” 在 软件 测试 技术 上 一 个 重要 的 友 展 万 向 ,但 
是 我 们 可 能 对 “软件 测试 架构 师 ” 在 产品 测试 活动 中 具体 会 做 哪些 事情 、 关 注 哪些 
方面 理解 得 还 不 够 全 面 。 


本 章 以 产品 测试 流程 中 的 主要 测试 活动 为 线索 ， 为 大 家 介绍 软件 测试 架构 师 需 要 关 


注 的 内 容 。 需 要 特别 说 明 的 是 ， 本 章 并 不 会 对 其 中 涉及 的 测试 技术 的 细节 展开 讨 
,这些 内 容 会 在 本 书 的 第 4 章 和 第 5 章 为 大 家 详细 呈现 ; 此 外 本 章 也 不 会 探讨 如 何 
在 产品 测试 中 ， 根 据 产品 的 实际 情况 来 选择 最 合适 的 测试 技术 ( 即 制定 测试 策 
略 ) ， 这 部 分 内 容 将 在 本 书 的 第 6 章 至 第 8 章 为 大 家 详细 摘 述 。 


SS 


3 .1 软件 测试 架构 师 需 要 关注 和 不 需要 关注 的 事情 


对 产品 测试 来 说 ， 无 论 是 传统 的 集成 产品 开 友 模式 ， 还 是 迭代 、 敏 捷 ， 测试 活动 都 
可 以 概括 为 测试 需求 分 析 、 测 试 分 析 和 设计 、 测 试 执行 和 测试 质量 评估 。 产 品 测试 
不 应 该 是 产品 研发 未 端的 活动 ， 而 应 该 是 “ 端 到 端 ” 的 ， 在 产品 研 帮 的 开始 阶段 ， 
测试 融 需 要 投入 。 和 “好 的 产品 是 设计 出 来 的 ”一 样 ， 测 试 分 析 不 仅 能 够 帮助 测试 
更 好 地 认识 产品 ， 准 备 测试 ， 还 能 反 过 来 帮助 开发 确认 需求 ， 确 认 产 品 在 非 功 能 

性 ( 如 性 能 、 可 靠 性 、 易 用 性 等 ) 方面 的 设计 。 测 试 的 意义 ， 不 仅 在 于 测试 友 现 
bug， 为 产品 友 布 提供 信心 ， 还 在 于 缺陷 预防 ， 切 实 提升 产品 质量 。 


作为 测试 团队 的 技术 领 尖 人， 软件 测试 架构 师 在 整个 “ 端 到 端 ” 的 测试 过 程 中 ， 需 
要 重点 关注 哪些 事情 呢 ? 接 下 来 我 就 为 大 家 一 一 进行 描述 。 


3.1.1 测试 架构 师 在 需求 分 析 中 


测试 的 源头 是 需求 。 软 件 测 试 架构 师 在 需求 阶段 ， 需要 重点 完成 的 工作 是 : 


理解 需求 
制定 一 份 总 体 测试 策略 ， 来 明确 测试 范围 、 测 试 目标 、 测 试 重点 和 难点 、 测 试 深度 
和 广度 。 


此 时 测试 架构 师 不 应 该 陷入 产品 的 实现 细节 中 去 ， 这 时 正确 的 方向 和 清晰 的 目标 比 


细节 更 重要 。 


如 何 才 算 “理解 需 求 ” ? 参与 每 一 场 需求 的 讨论 ， 熟 读 每 一 条 需求 规格 这 样 束 够 了 
吗 ? 此 时 人 花 一 些 时 间 来 理解 产品 的 商业 目标 ， 梳 理 用 户 的 使 用 场景 ， 往 往 会 为 后 面 
的 工作 市 来 事半功倍 的 效果 。 


1 .理解 产 品 的 商业 目标 
产品 的 商业 目标 是 测试 架构 师 需 要 理解 的 首要 问题 。 


理解 产品 的 商业 目标 的 重要 性 在 于 ， 从 产品 层面 来 说 ， 只 要 产 品 不 能 满足 商业 需 
求 ， 即 便 产 品 使 用 的 是 最 先进 的 开 友 拉 术 ， 也 是 无 用 的 ， 不 能 称 其 为 成 功 的 产品 。 


Dave Hendrichson 在 他 的 著作 12 Essential Skills for Software 
Architects ( 《软件 架构 师 的 12 项 修炼 》 张 菲 译 ， 机 械 工业 出 版 社 出 版 ) 中 提 

出 “系统 架构 师 在 考虑 构想 软件 架构 的 真正 价值 时 ， 不 能 只 是 关注 系统 构造 的 技术 
方面 ， 更 要 对 客户 价值 和 商务 价值 一 一 你 能 帮助 客户 真正 解决 怎样 的 问题 ? 你 怎样 
帮助 公司 赚钱 ? 有 深刻 的 认识 ”。 这 点 对 于 软件 测试 以 构 师 来 说 同样 适用 。 








在 这 本 书 中 ，Dave Hendrichson 用 一 个 气泡 图 形象 地 概括 了 商务 知识 和 软件 架构 的 
交错 关系 ， 如 图 3-1 所 示 。 


\/ 


图 3-1 Dave Hendrichson 的 气泡 图 

和 系统 染 构 师 一 样 ， 软 件 测试 染 构 师 同样 需要 理解 下 述 问题 : 

公司 中 的 营销 和 销售 人 员 如 何 细 分 客户 ? 

每 个 细 分 市 场 的 天 键 价值 主张 是 什么 ? 

公司 试图 增长 哪些 细 分 市 场 ? 如 何 增长 ? 

每 个 市 场 是 谁 做 出 购买 决策 的 ? 

-每 个 细 分 市 场 的 主要 竞争 对 手 是 谁 ? 

公司 对 此 产品 的 策略 主张 是 什么 ? 所 在 的 产品 是 如 何 融入 这 一 战略 的 ? 
并 能 够 围绕 下 述 内 容 展开 测试 活动 : 


-如何 验证 待 测试 的 产品 正确 体现 了 市 场 价值 ? 


-所 做 的 测试 策略 是 否 和 公司 的 财务 、 销 售 、 营 销 目标 一 致 ? 


当 软 件 测 试 架构 师 对 这 些 内 容 进 行 深入 思考 ， 并 通过 沟通 交流 和 决策 者 、 系 统 染 构 
师 、 市 场 等 角色 达成 一 致 ， 统 一 目标 时 ， 测 试 很 目 然 地 融 能 融入 其 中 ， 成 为 公司 的 
伙伴 ， 而 不 是 阻碍 软件 按时 友 布 的 “拦路 虎 ”。 测 试 也 能 更 容易 获得 决策 者 和 产品 
开发 的 认可 ， 测 试 的 深度 、 广 度 会 更 透明 ， 利 于 测试 更 好 地 把 握 测试 进度 ， 而 不 是 
总 被 压缩 测试 时 间 来 换取 项 目 进度 的 零 偏 差 ( 很 多 时 候 都 存在 压缩 测试 时 间 来 保证 
项 目 进度 的 问题 ， 其 中 很 大 一 部 分 的 原因 是 决策 者 根本 不 认可 测试 的 内 容 和 方法 ， 
认为 测试 过 度 或 者 见 余 过 多 ， 并 没有 准确 评估 测试 真正 的 工作 量 ) 。 


2 .梳理 用 户 的 使 用 场景 
梳理 用 户 的 使 用 场景 是 软件 测试 染 构 师 在 这 阶段 需要 重点 关注 的 另外 一 项 内 容 。 


所 谓 “ 用 户 的 使 用 场景 ”， 简 单 来 襄 ， 融 是 指 用 户 将 会 如 何 使 用 这 个 产品 。 用 户 场 
景 将 直接 体现 产品 的 价值 。 因 此 ， 在 测试 忆 前 ， 了 解 你 的 用 户 人 至 天 重要 : 


:产品 有 多 少 种 类 型 的 用 户 ， 这 些 用 户 的 业务 又 是 什么 ， 他 们 如 何 从 你 的 产品 中 获得 
价值 ( 比如 通过 你 的 产品 赚钱 ， 获 得 某 种 资源 ) ? 


产品 的 竞争 对 手 对 用 户 提供 了 哪些 有 价值 的 解决 方案 ? 你 们 之 间 的 差异 是 什么 ? 


:产品 所 在 领域 有 哪些 基本 的 规范 和 要 求 ， 行 业 背 景 有 哪些 ， 用户 的 习惯 是 什么 ( 如 
完成 各 种 活动 的 顺序 、 对 活动 完成 的 判断 标准 和 可 能 的 重要 决定 等 ) ? 


然后 软件 测试 架构 师 需要 把 梳理 的 用 户 使 用 场景 ， 归 纳 为 测试 场景 : 


-逐一 分 析 这 些 用 户 会 如 何 使 用 产品 ， 根 据 分 析 绪 果 建立 产品 的 拓扑 模型 、 配 置 模型 
和 流量 模型 等 ， 抽 象 出 典型 场景 。 


-确定 各 个 典型 场景 下 的 输入 和 输出 ( 包括 正常 输入 和 异 党 输入、 攻击 ， 还 需要 考虑 
模拟 测试 的 时 间 长 短 ， 等 等 ) 。 


对 测试 场景 的 分 析 ， 也 可 以 放 在 测试 分 析 和 设计 阶段 进行 。 这 部 分 的 输出 将 会 成 为 
验收 测试 时 的 重要 输入 。 天 于 这 部 分 测试 案 略 和 测试 方法 的 摘 述 ， 可 以 参见 7.4.4 


二 上 


和 。 
3 .输出 产品 忌 体 测试 策略 


输出 严 品 忌 体 测试 策略 是 软件 测试 染 构 师 在 这 一 阶段 的 重要 输出 。 它 的 作用 ， 束 好 
像 测 试 的 总 纲 ， 帮 助 整个 测试 团队 明确 测试 的 范围 、 目 标 ， 测 试 的 重点 和 难点 ， 测 
试 的 深度 和 广度 ， 以 及 如 何 安 排 各 种 测试 活动 ( 及 测试 分 层 ) 。 


测试 重点 和 测试 难点 是 完全 不 同 的 两 个 概念 。 


测试 重点 是 由 产品 价值 、 质 量 目标 、 产 品 实现 ( 新 写 代 码 、 开 源 代码 或 是 继承 代 
码 ) 和 历史 测试 情况 ( 主要 针对 继承 类 产品 ) 等 多 项 因素 综合 决定 的 。“ 测 试 难 
护 ” 是 从 测试 技术 的 角度 来 说 的 ， 是 对 产品 测试 验证 难 易 程度 的 分 析 。 


测 斌 深度 和 测试 广度 也 有 所 不 同 。 测 试 广度 是 从 窗 盖 的 角度 来 对 产品 测试 进行 摘 
而 测试 深度 是 从 测试 方法 ( 如 单 运行 测试 、 多 运行 测试 、 边 界 值 或 错误 输入 

等 ) 来 对 测试 进行 摘 述 。 

当 我 们 对 每 个 特性 确定 了 测试 重点 和 测试 难点 、 测 试 深度 和 测试 广度 之 后 ， 测 试 的 

忆 体 思路 也 束 随 之 明确 了 。 后 面 的 目 动 化 策略 、 探 索 测 试 策 略 、 测 试 分析 和 设计 的 


策略 也 变 得 明确 了 。 


测试 分 层 帮 我 们 将 一 个 大 的 测试 目标 分 解 为 若干 小 的 测试 目标 。 这 样 我 们 可 以 逐 层 
测试 ， 逐 层 评估 测试 结果 ， 并 根据 测试 结果 不 断 修正 测试 策略 ， 不 仅 让 测试 目标 变 


得 可 以 达到 ， 还 让 整个 测试 过 程 变 得 可 控 。 


上 述 内 容 构成 了 测试 的 整体 框架 。 我 们 可 以 在 这 个 框架 下 不 断 细 化 ， 表 输出 阶段 测 
试 策略 和 版 本 测试 策略 等 。 如 果 把 测试 需求 分 析 、 测 试 分 析 设 计 、 测 斌 执行、 测试 
质量 评估 等 测试 活动 比 作 珍珠 ， 测 试 策略 就 是 那 根 穿 珍 珠 的 线 ， 贯 穿 始 终 。 


本 书 将 人 在 7.1~7.3 节 中 为 大 家 详细 介绍 总 体 测 试 策略 的 制定 过 程 ， 在 第 6 章 中 为 大 家 
介绍 和 测试 策略 相关 的 测试 技术 。 


3 .1.2 测试 架构 师 在 测试 分 析 和 设计 中 


软件 测试 染 构 师 作为 测试 团队 的 技术 市 尖 人 ， 肯 定 是 测试 分 析 设 计 的 好 手 ， 但 软件 
测试 架构 师 不 应 该 陷 到 具体 的 测试 分 析 和 设计 中 去 ， 对 他 们 来 说 ， 更 重要 的 工作 是 
制定 阶段 测试 策略 ， 落 实测 试 设计 策略 ， 对 测试 团队 进行 测试 分 析 和 设计 方面 的 畏 
导 ， 从 整体 上 来 把 握 测 试 设计 的 质量 。 


1 .制定 阶 段 测试 策略 


阶段 测试 策略 是 指 按 照 测试 分 层 来 确定 每 个 测试 层次 的 测试 策略 ， 阶 段 测试 策略 也 
是 忌 体 测试 策略 的 进一步 分 解 。 

测试 分 层 是 一 个 十 分 重要 的 测试 概念 ， 它 是 指 将 一 些 具 有 相同 测试 目标 的 测试 活动 
放 在 一 起 作为 一 个 测试 的 层次 。“V 模 型 ”下 的 单元 测试 、 集 成 测试 、 系 统 测试 和 验 
收 测 试 束 是 测试 分 层 的 一 个 例子 ， 如 图 3-2 所 示 。 


震 求 分 析 验收 测试 






系统 测试 


详细 设计 集成 测试 


单元 测试 


加 3-2 “V 模 型 ”下 的 测试 分 层 举例 


我 们 将 在 6.8 节 中 ， 对 “测试 分 层 ” 和 “分 层 测试 ”进行 详细 的 叙述 ， 在 7.4 世 中 详 
细 介 绍 阶段 测试 荣 略 的 制定 方法 。 总 结 来 说， 阶段 测试 需要 天 注 的 内 容 包括 : 


每 个 阶段 的 测试 对 象 、 目 标 。 
每 个 阶段 的 出 入 口 准则 。 
:如何 选择 测试 用 例 。 


出 入 口 准则 其 实 是 确定 这 一 阶段 的 质量 目标 和 验收 标准 。 有 时候 ， 测 试 阶段 也 是 环 
环 相 扣 的 ， 例 如 我 们 要 想 进 行 性 能 测试 ， 束 需要 将 功能 稳定 作为 前 提 ， 这 时 功能 稳 
定 束 是 性 能 测试 的 一 个 入 口 条 件 。 


出 入 口 准则 并 不 是 限制 测试 的 ， 其 实 是 测试 和 开发 的 约定 ， 这 就 需要 开发 能 够 认可 
这 份 准则 ， 沟通 、 协 商 必 不 可 少 。 当 然 ， 除 了 和 开 友 之 间 的 交通， 测试 团队 之 间 的 


沟通 也 变 得 非常 重要 一 一 我 们 需要 通过 沟通 ， 让 测试 能 够 充分 理解 测试 策略 ， 理 解 
每 个 测试 阶段 的 测试 目标 ， 以 及 要 如 何 才能 达到 这 个 目标 ， 使 得 整个 测试 团队 能 
够 “ 力 出 一 孔 ”。 本 书 在 5 .1 节 中 融 讨 论 了 一 些 沟通 和 协商 万 面 需要 注意 的 问题 。 


2 .落实 测试 设计 策略 ， 保 证 测试 设计 的 质量 


测试 设计 策略 是 指 软 件 测试 染 构 师 能 够 按照 总 体 测 试 策略 中 确定 的 测试 深度 和 广 
度 、 重 点 和 难点 ， 来 组 织 整 个 测试 团队 进行 测试 设计 ， 使 得 测试 用 例 的 输出 能 够 和 
测试 策略 保持 一 致 。 


方法 上 ， 软 件 测试 架构 师 可 以 使 用 《测试 分 析 设 计 表 》 来 保证 测试 设计 符合 测试 策 


略 。 关 于 这 部 分 的 内 容 ， 请 参见 7.4.1 节 。 


一 般 来 说 ， 我 们 会 安排 有 经 验 的 测试 工程 师 来 进行 测试 设计 ， 但 现实 往往 是 我 们 的 
团队 刚 组 建 ， 大 部 分 测试 设计 的 工作 还 是 由 新 手 来 进行 的 。 除 了 掌握 必要 的 测试 设 
计 方 法 ( 详 见 本 书 4.4 节 ) 外 ， 和 掌握 一 些 用 例 编写 的 技 I5， 让 测试 用 例 更 易 读 、 易 于 
执行 、 易 于 维护 也 很 重要 。 如 何 写 出 漂亮 的 测试 用 例 ， 我 们 将 在 5.2 节 中 进行 讨论 。 
当然 ， 对 软件 测试 染 构 师 来 说 ， 必 要 的 沟通 辅导 也 是 不 可 少 的 ， 我 们 将 在 5.1.3 节 中 
讨论 如 何 和 测试 团队 成 员 沟通 的 问题 。 


3.1.3 测试 染 构 师 在 测试 执行 中 


对 软件 测试 架构 师 来 说 ， 测 试 执行 也 一 定 不 会 难 倒 他 ， 找 bug 的 能 力 必然 也 是 出 类 拔 
荃 的 ， 但 是 软件 测试 架构 师 却 不 应 该 把 找 bug 作 为 测试 执行 阶段 的 重要 目标 ， 更 不 应 
该 陷 到 测试 执行 中 ， 而 应 该 把 精力 投入 到 制定 版 本 测试 策略 、 跟 踪 测 试 执行 和 版 本 
质量 评估 中 ， 如 图 3-3 所 示 。 


制定 版 本 测试 
策略 


跟踪 测试 执行 


版 本 质量 评估 





3-3 软件 测试 架构 师 在 测试 执行 中 的 主要 工作 
1. 制 定 版 本 测试 策略 


版 本 测试 策略 和 阶段 测试 策略 、 忆 体 测试 策略 是 一 脉 相 承 的 ， 软 件 测试 染 构 师 需要 
在 每 个 版 本 测试 开始 之 前 ， 制 定 出 这 个 版 本 的 测试 策略 ， 主 要 内 容 包 括 : 


:测试 范围 和 计划 相 比 的 偏差 。 
:本 版 本 的 测试 目标 。 
需要 重点 关注 的 内 容 。 
:测试 用 例 的 选择 。 

:测试 执行 顺序 。 
:试探 性 的 测试 策略 。 

-接收 测试 策略 。 


-回归 测试 策略 。 


-探索 测试 策略 。 

- 目 动 化 测试 策略 。 

关于 这 部 分 的 详细 内 容 ， 我们 将 在 8.1~8.2 节 及 8.4 节 中 为 大 家 描述 。 

2 .跟踪 测试 执行 

跟 路 测试 执行 是 软件 测试 染 构 师 在 测试 执行 中 最 主要 的 工作 ， 具 体内 容 包 括 : 
-跟踪 测试 用 例 执 行 的 情况 。 

每 日 缺陷 跟 蹊 。 

-调整 测试 策略 。 

对 这 部 分 的 详细 摘 述 ， 请 参见 8 . 3 节 。 


跟 路 测试 执行 ， 其 实 也 是 一 种 质量 保证 工作 。 通 过 每 日 的 缺陷 跟踪 ， 我 们 可 以 实时 
评估 当前 版 本 的 质量 ， 为 测试 策略 的 调整 提供 依据 。 


3. 版 本 质量 评估 和 建立 版 本 质量 档案 

版 本 质量 评估 是 对 每 个 测试 版 本 的 质量 总 结 。 方 法 上 ， 我 们 可 以 使 用 软件 产品 质量 
评估 模型 来 进行 质量 评估 。 对 软件 产品 质量 评估 模型 的 介绍 ， 请 参见 6. 3 ; 如 何 进 
行 版 本 质量 评估 ， 请 参见 8 . 4 忆 。 

对 软件 测试 以 构 师 而 言 ， 可 能 无 法 凭 一己 乙 力 完成 所 有 特性 的 质量 评估 。 这 时 我 们 
可 以 整理 一 个 “特性 版 本 的 质量 档案 ” ( 见 表 3-1， 详 见 8.4.4 节 ) ， 由 整个 测试 团 
队 来 记录 和 维护 。 


表 3-1 特性 版 本 的 质量 档案 


目标 分 解 Build1 
特性 | 质量 目标 (期望值 优先 级 
[期望值 测试 过 程 | 缺陷 分 析 


测试 如 复 章 mt) 度 
特性 完全 商用 测试 过 程 
缺陷 
测试 覆 新 度 
特性 完全 商用 测试 过 程 
缺陷 
测试 覆盖 度 


特性 : 受 限 商 测试 过 程 





测试 覆盖 度 


| 测试 、 演 示 或 小 | 、、、 
特性 1 咱 试 过 性 
特 范围 试用 = 








3.1.4 测试 架构 师 在 测试 质量 评估 中 


和 版 本 质量 评估 不 同 ， 此 时 的 质量 评估 是 指 阶段 质量 评估 或 者 友 布 时 的 质量 评估 ， 
需要 给 出 “能 否 进入 下 一 阶段 的 测试 ”或 者 “发 布 ” 的 结论 。 


方法 上 ， 阶段 质 量 评估 依然 使 用 软件 产品 质量 评估 模型 来 进行 评估 ， 需 要 重点 关注 
的 内 容 包括 : 


-确认 总 体 测试 策略 中 重要 的 质量 目标 是 否 达 到 。 

对 总 体 测试 策略 中 未 达标 的 一 般 性 的 质量 目标 ， 确 定 应 对 措施 。 
-进行 遗留 缺陷 分 析 。 
这 部 分 的 详细 内 容 ， 请 参见 8 . 6 节 。 


在 进行 阶段 测试 质量 评估 时 ， 软 件 测试 染 构 师 还 需要 特别 注意 此 时 的 缺陷 修复 策略 


和 对 非 必然 重 现 bug 的 处 理 。 对 这 部 分 的 叙述 ， 请 参见 8 .6.5~8 .6. 6 节 。 
3.2 像 软件 测试 架构 师 一 样 的 思考 


有 些 公 司 可 能 并 没有 软件 测试 架构 师 这 样 的 职位 ， 很 多 读者 可 能 也 是 第 一 次 听 说 这 
样 的 称谓 。 其 实 ， 是 否 叫 “软件 测试 架构 师 ” 这 个 称谓 并 不 重要 ， 重要 的 是 在 测试 
团队 中 ， 能 有 人 像 软件 测试 染 构 师 那 样 ， 通 盘 考 虑 测试 策略 ， 考 虑 如 何 才能 测试 成 
功 。 在 测试 团队 中 ， 无 论 你 是 谁 ， 都 请 像 软件 测试 架构 师 一 样 作 如 下 思考 。 


:测试 的 目标 是 什么 ? 
:测试 的 范围 是 什么 ? 
:测试 的 深度 和 广度 是 什么 ? 
测试 的 重点 和 难点 是 什么 ? 
-如何 安排 测试 ? 
-如何 评估 测试 结果 ? 


这 些 问 题 ， 可 能 残 是 一 个 思考 过 程 ， 没 有 输出 ， 但 是 只 要 你 愿意 去 思考 这 些 问 题 ， 
融 一 定 能 为 产品 测试 市 来 积极 的 效果 ， 同 时 自己 的 测试 水 平 ， 特 别 是 对 测试 整体 的 
控制 力 会 大 大 加 强 。 


也 许 对 一 个 测试 团队 来 说 ， 最 好 的 情况 融 是 人 人 都 是 软件 测试 架构 师 吧 。 


3.3 软件 测试 经 理 可 以 蔡 代 软件 测试 架构 师 吗 


软件 测试 经 理 ( 有 些 公 司 又 称 为 测试 代表 、 测 试 项 目 经 理 等 ) 是 我 们 非常 熟悉 的 角 
色 ， 软件 测 试 经 理 能 够 替代 软件 测试 架构 师 吗 ? 


软件 测试 经 理 的 重点 工作 是 制订 测试 计划 ， 并 在 测试 团队 中 执行 测试 计划 ， 为 决策 
者 对 产品 能 否 发 布 提供 建议 和 证 据 。 因 此 软件 测试 经 理 需 要 熟练 掌握 的 是 项 目 管理 
方面 的 知识 ， 包 括 各 种 沟通 、 协 调 等 ， 以 项 目 运作 的 方式 保证 产品 测试 的 顺利 进 


行 。 


而 软件 测试 染 构 师 的 工作 重点 是 通过 制定 产品 的 测试 策略 ， 为 产品 找到 最 适合 产品 
的 测试 方法 ， 因 此 软件 测试 染 构 师 需 要 熟练 掌握 与 产品 相关 的 知识 和 各 种 测试 技 
术 ， 并 有 能 力 找到 其 中 的 平衡 点 。 


将 软件 测试 经 理 和 软件 测试 染 构 师 的 工作 重点 放 在 一 起 进行 比较 ， 很 容易 友 现 他 们 
分 别 关注 的 是 “测试 计划 ”和 “测试 策略 ”这 两 项 不 同 的 测试 活动 。 这 两 项 活动 有 
什么 相关 联 的 地 方 吗 ? 如 何 理解 这 两 项 活动 之 间 的 差异 呢 ? 测试 策略 解决 的 是 产 
品 “测试 目标 ” (why ) ， 以 及 “ 测 什么 ” (what ) 和 “怎么 测 ” ( how ) 的 问题 ， 
而 测试 计划 是 在 明确 了 “目标 ”“ 测 什么 ”和 “怎么 测 ” 后 ， 确 定 由 “ 谁 ” ( who ) 
在 “ 何 时 ” ( when ) 花费 多 长 时 间 来 进行 相关 的 测试 。 软 件 测试 染 构 师 如 何 保证 制 
定 的 测试 策略 在 测试 团队 中 落地 ? 其 实 他 是 无 法 直接 保证 的 ， 需 要 软件 测试 经 理 
把 “ 严 品 测试 策略 ”转化 为 “产品 测试 计划 ”通过 项 目 运 作 的 方式 将 产品 测试 策 
略 真 正在 项 目 中 付 诸 实践 。 两 者 的 内 在 关系 ， 还 从 产品 测试 的 角度 回答 了 为 什么 软 
件 测试 染 构 师 要 关注 产品 的 商业 目标 、 理 解 产品 价值 、 理 解 项 目 管理 ， 因 为 测试 策 
略 其 实 束 是 直接 为 测试 计划 服务 的 。 


那 软件 测试 经 理 为 什么 不 能 制定 产品 测试 策略 呢 ? 软件 测试 经 理 当然 可 以 制定 产品 
测试 策略 ， 而 且 由 测试 经 理 直 接 根据 测试 策略 来 制订 测试 计划 ， 还 可 以 省 掉 和 测试 


架构 师 的 沟通 成 本 。 那 么 产品 测试 策略 由 软件 测试 架构 师 来 做 是 否 多 此 一 举 呢 ? 答 
案 当 然 是 否定 的 。 形 象 地 说 ， 严 品 测 试 策略 束 是 在 为 产品 测试 找 一 条 到 达 测 试 目 标 
的 “路 ”。 达 到 同一 测试 目标 的 道路 一 定 不 止 一 条 ， 软 件 测 试 架 构 师 就 是 通过 系统 
的 分 析 ， 找 到 最 合适 的 那 条 路 ， 这 个 过 程 需 要 耗费 大 量 的 时 间 和 精力 。 但 遗憾 的 
是 ， 什 么 才 是 “最 合适 的 路 ”是 很 难 直 接 度量 和 评价 的 : 不 可 能 对 同一 个 项 目 运行 
两 套 方案 来 判定 方案 的 优势 ， 而 时 光 又 不 能 倒 法， 正 因 为 如 此 ， 虽 然 这 项 活动 

很 “重要 ”， 但 是 却 容易 被 忽略 ， 特 别 是 当 测 试 经 理 陷 入 各 种 沟通 协调 会 议 ， 需 要 
处 理 各 种 复杂 关系 的 时 候 ， 往 往 没 有 更 多 的 精力 去 系统 地 分 析 、 确 定 测试 策略 。 所 
以 并 不 是 说 软件 测试 经 理 不 能 或 者 没有 能 力 去 制定 测试 策略 ， 而 是 软件 测试 经 理 也 
是 人 ， 不 是 超人 ， 在 心 有 余 而 力 不 足 的 情况 下 做 出 来 的 测试 策略 ， 质量 上 很 难保 
证 ， 难免 有 失 偏 颇 ， 表 落实 成 测试 计划 在 测试 项 目 中 执行 ， 对 整个 产品 测试 团队 ， 
乃至 产品 研 友 团队 来 说 ， 都 是 一 件 可 怕 的 事情 。 所 以 软件 测试 经 理 需 要 一 个 “ 锅 内 
助 ”一 一 软件 测试 架构 师 来 系统 地 进行 分 析 ， 以 保证 产品 测试 策略 的 质量 。 


可 见 软件 测试 经 理 和 软件 测试 染 构 师 都 是 软件 测试 中 的 重要 和 角色， 他 们 之 间 的 关系 
是 合作 ， 而 不 是 替代 ( 也 没 法 茶 代 ) 。 


3 .4 系统 染 构 师 可 以 替代 软件 测试 架构 师 吗 


系统 架构 师 也 是 我 们 非常 熟悉 的 角色 之 一 。 第 2 章 介 绍 软件 测试 在 技术 上 的 友 展 方向 
时 (2.1.2 节 )， 就 是 通过 将 软件 测试 架构 师 和 系统 架构 师 进 行 对 比 的 方法 来 表述 
的 。 可 见 软 件 测试 染 构 师 和 系统 架构 师 有 一 定 的 对 等 性 ， 但 是 软件 测试 架构 师 服务 
的 对 象 是 产品 测试 ， 而 系统 架构 师 服务 的 对 象 是 产品 开 友 。 


产品 测试 和 产品 开发 本 来 束 不 是 独立 的 两 个 活动 ， 其 中 最 简单 的 关系 就 是 ， 产 品 开 
发 出 来 的 产品 ， 会 作为 产品 测试 的 输入 ， 产 品 测试 的 输出 结果 ( 如 友 现 的 产品 缺 


陷 ， 产 品质 量 评估 ) ， 又 会 反 过 来 影响 产品 开 友 ( 修复 缺陷 ， 甚 至 是 新 需求 的 提 
出 ) 。 所 以 软件 测试 染 构 师 和 系统 架构 师 也 有 很 多 交集 的 地 方 : 


对 产品 价值 的 理解 。 
.对 产品 场景 的 理解 。 
对 产品 系统 框架 的 理解 。 


但 是 拥有 很 多 交集 并 不 代表 系统 架构 师 可 以 取代 软件 测试 染 构 师 。 残 像 产 品 开 友人 
员 不 能 取代 产品 测试 人 员 一 样 。Glenford J .Myers 在 他 的 著作 《软件 测试 艺术 》 
中 ， 曾 经 从 心理 学 的 角度 对 上 述 问 题 的 本 质 进行 了 分 析 。 这 是 因为 ， 产 品 开发 的 工 
作 是 “生成 性 ”的 ， 是 从 无 到 有 去 创建 一 个 产品 ; 而 产品 测试 找 bug 的 过 程 却 是 “ 破 
坏 性 ”的 。 很 少 有 人 可 以 做 到 客观 地 去 创造 一 个 东西 ， 然 后 再 客观 地 去 毁坏 一 个 东 
西 。 系 统 架构 师 和 软件 测试 架构 师 也 有 以 下 类 似 的 状态 。 


系统 架构 师 理解 产品 的 价值 ， 是 为 了 正确 地 创造 并 实现 产品 ; 软件 测试 架构 师 理 解 
产品 的 价值 ， 是 为 了 验证 产品 是 否 真 的 实现 了 应 有 的 价值 ， 是否 存在 错误 。 


系统 以 构 师 理解 产品 场景 ， 是 为 了 分 析出 产品 的 特性 和 功能 ， 为 产品 实现 做 准备 ; 
软件 测试 染 构 师 理解 产品 场景 ， 是 为 了 验证 产品 是 否 满 足 用 户 在 该 场景 中 的 使 用 需 
要 ， 在 该 场景 下 产品 是 人 否 存 在 质量 缺陷 。 


系统 架构 师 理 解 产 品 的 系统 框架 ， 是 为 了 产品 最 终 能 够 顺利 实现 ; 软件 测试 架构 师 
理解 产品 的 系统 框架 ， 是 为 了 测试 设计 和 测试 执行 能 够 更 有 效 ， 验 证 产品 实现 是 否 
和 架构 的 设计 是 一 致 的 ， 是 否 存 在 问题 。 


可 见 ， 不 同 的 关注 视角 使 得 软件 测试 架构 师 和 系统 架构 师 即 使 是 在 同一 件 事物 的 同 
一 个 领域 ， 也 会 出 现 巨 大 的 不 同 。 所 以 系统 染 构 师 并 不 能 替代 软件 测试 染 构 师 ,而 
是 应 该 在 以 下 方面 相互 协作 。 


系统 染 构 师 可 以 和 软件 测试 架构 师 一 起 对 产品 价值 进行 讨论 ， 相 互 理 解 。 


系统 架构 师 需要 和 软件 测试 架构 师 一 起 整理 用 户 使 用 场景 ， 软 件 测试 架构 师 对 用 户 
的 潜在 需求 的 理解 ， 对 友 商 同类 产品 的 使 用 经 验 和 曾经 与 用 户 沟 通 接 触 的 经 历 都 可 
以 帮助 系统 染 构 师 更 好 地 确定 用 户 使 用 场景 ， 确 定 产品 需求 。 


系统 架构 师 还 需要 和 软件 测试 架构 师 就 产品 的 系统 设计 进行 交流 ， 其 实 只 有 软件 测 
试 染 构 师 对 产品 的 实现 理解 得 越 深 和 越 透 ， 才 能 越 准确 地 把 握 测试 的 重点 ， 减 少 无 
效 的 测试 ， 而 系统 设计 正 是 对 产品 实现 理解 的 第 一 步 。 软 件 测试 架构 师 也 可 以 根据 
产品 的 失效 规律 ， 为 系统 架构 师 在 产品 架构 设计 上 提供 参考 ， 进 行 缺 陷 预 防 。 


所 以 ， 系 统 架构 师 和 软件 测试 架构 师 应 该 成 为 产品 研发 中 最 亲密 无 间 的 挚友 
第 4 草 软件 测试 架构 师 的 知识 能 力 模 型 

通过 第 3 章 的 叙述 ， 我 们 知道 软件 测试 架构 师 从 事 的 并 不 是 一 项 纯 测试 技术 的 工作 ， 
而 是 一 门 需要 结合 产品 、 沟 通 协调 、 书 面 表达 等 综合 性 的 艺术 ， 如 图 4-1 所 示 。 


接 下 来 我 们 将 分 别 从 测试 技术 和 沟通 协调 、 书 面 表达 等 “ 软 能 力 ”方面 ， 来 详细 讨 
论 软 件 测试 架构 师 需 要 具备 的 各 种 能 力 。 先 讨论 测试 技术 。 


从 测试 技术 来 说 ， 软 件 测试 染 构 师 需要 掌握 的 知识 能 力 如 图 4-2 所 示 。 


软件 测试 架构 师 


. we 品 十 知识 


。 测试 技术 e。 沟通 协 庆 
。 书面 表达 





图 4-1 软件 测试 架构 师 需 具备 的 能 


测试 方法 


测试 设计 


探索 式 测 试 
日 动 化 测试 





图 4-2 软件 测试 架构 师 需 具备 的 测试 技术 能 


-软件 产品 质量 模型 表面 上 看 起 来 和 测试 一 点 关系 都 没有 ， 但 它 却 能 帮 我 们 理解 和 确 
定 用户 的 需求 ， 还 可 以 用 来 评 佑 质量， 其实 是 测试 的 基础 。 


:测试 类 型 是 指 测试 要 从 各 个 角度 对 被 测 对 象 进行 测试 ， 又 被 称 为 “测试 视角 ” 


:测试 万 法 是 指 对 被 测试 对 象 进行 测试 的 具体 方法 ， 会 直接 影响 友 现 号 陷 的 数量 和 质 


量 ， 也 是 测试 能 力 最 被 大 家 认可 的 表现 形式 。 


:测试 设计 是 输出 测试 用 例 ， 测 试用 例 是 对 被 测 对 每 进行 验证 的 说 明 书 。 优 秀 的 测试 
设计 ， 能 够 让 我 们 用 最 少 的 测试 用 例 ， 发 现 我 们 最 希望 发 现 的 产品 问题 。 难 怪 很 多 
地 方 都 称 测试 设计 是 测试 最 重要 的 技术 。 

-探索 式 测试 是 一 种 强调 测试 人 员 同 时 开展 测试 学 习 、 测 试 设计 、 测 试 执行 ， 并 根据 
测试 结果 反馈 及 时 优化 的 测试 方法 ， 但 我 却 喜欢 把 它 归 为 测试 执行 技术 。 将 探索 式 
测试 和 执行 测试 用 例 结合 起 来 ， 能 够 让 测试 达到 最 大 的 效果 。 


: 随 着 测试 的 发 展 、 敏 捷 的 流行 ， 自 动 化 测试 也 越 来 越 受到 重视 。 对 软件 测试 染 构 师 
而 言 ， 他 不 一 定 是 一 位 优秀 的 上 自动 化 工程 师 ， 但 他 必须 理解 一 些 天 于 自动 化 的 知 
识 ， 知 道 如 何 评 估 目 动 化 的 收益 和 为 项 目 选 择 合适 的 自动 化 测试 工具 。 


4.1 软件 产品 质量 模型 


对 于 软件 测试 架构 师 来 说 ， 第 一 个 需要 深入 理解 的 知识 束 是 “软件 产品 质量 模 

型 ”， 

为 什么 我 们 首先 要 讨论 软件 产品 质量 模型 这 个 看 起 来 和 测试 并 没有 多 大 关系 的 知识 
呢 ? 

众所周知 ， 软 件 测 试 的 一 个 重要 目标 ， 融 是 “验证 产品 质量 是 否 满足 用 户 的 需 


求 ”。“ 正 确 、 人 全面、 深入 地 理解 用 尸 需求 ”是 测试 的 基础 。 但 是 理解 用 户 需 求 并 
不 是 一 件 容易 的 事 。 例 如 : 


用户 除 了 功能 方面 的 需求 外 ， 还 有 哪些 非 功 能 方面 的 需求 ? 


除了 用 户 明 确 给 出 的 需求 外 ， 还 有 哪些 隐 性 的 需求 ? 
这 时 我 们 残 可 以 使 用 软件 产品 质量 模型 ， 来 系统 地 分 析 、 理 解 用 户 的 需求 。 
4.1.1 软件 产品 质量 六 属性 


软件 产品 质量 模型 将 一 个 软件 产品 需要 满足 的 质量 划分 为 六 大 属性 ( 功能 性 、 可 靠 
性 、 易 用 性 、 效 率 、 可 维护 性 和 可 移植 性 ) ， 每 类 属性 又 细 分 出 了 很 多 “ 子 属 
性 ”， 如 图 4-3 所 示 。 


软件 产品 质量 模型 对 产品 设计 时 需要 考虑 的 地 方 进行 了 高 度 概括 。 一 个 高 质量 的 产 
是 一 个 在 质量 六 属性 上 都 设计 得 很 出 色 的 产品 ; 如 果 一 个 产品 的 设计 在 质 
量 六 属性 上 存在 缺失 ， 这 个 产品 的 质量 一 定 不 会 太 高 。 


虽然 软件 测试 以 构 师 的 职责 不 是 设计 产品 ， 但 是 掌握 了 软件 产品 质量 模型 ， 知 道 了 
高 质量 的 产品 该 具备 怎样 的 特质 ， 也 就 等 于 拿 到 了 如 何 验证 产品 、 如 何 评价 产品 质 
量 的 “ 金 钥匙 ”。 因 此 ， 软 件 测试 染 构 师 需要 吃 准 、 吃 透 软件 产品 质量 模型 中 的 内 
容 


O 


> 


说 明 国际 上 对 软件 产品 质量 模型 相关 的 标准 是 I S0AIEC9126， 我国 也 有 相应 的 国标 
GB/T 16266， 两 者 内 容 基 本 是 一 致 的 。 本 节 对 软件 产品 质量 属性 定义 的 摘 述 主要 参 
考 的 是 国标 GB/T 16266。 


从 图 4-3 中 我 们 已 经 能 够 了 解 到 ， 软 件 产品 质量 模型 包 售 了 几 十 个 概念 。 为 了 让 大 家 


能 够 更 好 地 理解 这 些 概 念 ， 我 将 以 “Windows 操 作 系 统 默认 的 计算 器 ”为 例 来 分 
析 “软件 产品 的 质量 属性 ”是 如 何在 这 款 “ 计 算 器 ”中 表现 出 来 的 。 
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图 4-3 软件 产品 质量 六 属性 


举例 : Windows 操 作 系 统 默认 的 计算 器 


:本 节 中 举例 的 计算 器 版 本 : windows7 旗 舰 版 ; 


Windows 操 作 系统 默 认 计算 器 的 外 观 如 图 4-4 所 示 。 


可 分 析 性 


可 修改 性 
稳定 性 
可 测试 性 


可 维护 性 
的 依从 性 


的 依从 性 





| 计算 器 
音 看 (V) 编辑 (E) 帮助 (H) 





图 4-4 Windows 操 作 系 统 默认 的 计算 器 


需要 特别 说 明 的 是 ， 在 实际 项 目 中 ， 我 们 的 分 析 过 程 是 根据 软件 测试 质量 模型 来 分 
析 产 品 测试 时 需要 注意 的 地 方 ， 和 我 们 举 的 例子 是 反 过 来 的 。 在 4.2 节 、4.3 节 和 


4.4 节 中 ， 还 将 为 大 家 继续 介绍 如 何 分 析 这 些 测试 点 。 
4.1.2 功能 


软件 产品 质量 属性 中 的 功能 性 是 指 软 件 产品 在 指定 条 件 下 使 用 时 ， 提 供 满 足 明确 和 
隐 合 要 求 的 功能 的 能 力 。 


从 功能 性 的 定义 来 看 ， 产品 的 功能 并 不 像 表 面 上 看 起 来 那么 简单 一 一 除了 满足 “ 明 


确 ” 的 要 求 ， 还 有 更 深 一 层 的 “ 隐 合 ”的 要 求 。“ 明 确 ”+“ 隐 合 ” 才 构成 了 用 户 对 
产品 真正 的 、 完 整 的 功能 要 求 。 


功能 性 又 被 划分 成 了 5 个 “ 子 属性 ”， 这些“ 子 属性 ”给 了 我 们 分 析 “ 明 确 ”+“ 隐 
含 ” 需求 的 思考 方向 ， 见 表 4-1。 


表 4-1 功能 性 子 属性 


质量 子 属性 子 特性 描述 
适合 性 软件 产品 为 特定 的 任务 和 用 户 目标 提供 一 组 合适 功能 的 能 力 
准确 性 软件 产品 提供 具有 所 需 精 度 的 正确 或 相符 的 结果 及 效果 的 能 力 
互 操作 性 软件 产品 与 一 个 或 多 个 特性 、 系 统 相互 配合 的 能 力 

f 


软件 产品 保护 信息 和 数据 的 能 力 ， 以 保证 未 授权 的 用 户 或 系统 不 能 阅读 和 修改 这 些 信息 与 数据 ， 
而 合法 用 户 或 系统 不 会 被 拒绝 访问 
功能 顺从 性 软件 产品 符合 和 该 功能 相关 的 标准 、 规 范 、 规 则 或 特定 的 能 力 


直接 理解 上 面 的 定义 可 能 会 比较 枯燥 ， 我 们 不 妨 来 看 看 在 windows 的 计算 器 中 ， 适 
合 性 、 准 确 性 、 互 操作 性 、 安 全 性 和 功能 顺从 性 分 别 是 如 何 体现 的 。 


Windows 的 计算 器 如 何 体现 软件 产品 质量 属性 中 的 功能 性 





.功能 ， 





对 windows 的 计算 器 来 说 ， 软 件 产品 为 用 户 提供 的 所 有 和 “计算 ”相关 的 功能 ， 就 
是 适合 性 。 如 “标准 型 计算 器 ” “科学 型 计算 器 ” “程序 员 型 计算 器 ” “统计 信息 
型 计算 器 ” 等， 我 们 只 需 在 计算 器 软件 左上 方 的 菜单 中 ， 选 择 “ 查 看 ” ， 就 可 以 找 


到 这 些 功能 后 。 


除了 这 些 “ 明 显 ” 的 功能 之 外 ( 读者 可 以 先 理解 为 ， 不 用 转弯 ， 直 接 残 能 想到 的 功 
能 ) ，MWMindows 的 计算 器 还 包含 了 一 些 用 户 要 在 特定 场景 下 才 可 能 会 想到 、 用 到 的 


功能 ， 如 “查看 历史 记录 ” “数字 分 组 ” “单位 转换 ”“ 日 期 转换 ”等 。 同 样 也 
在 “查看 ”菜单 中 能 够 找到 这 些 功能 ， 如 图 4-5 所 示 。 


司 计算 器 En 


[到 VW] 编 旺 (E) 帮助 (H) 

全 ”标准 型 人 T) Alt+1 
科学 型 (9) Alt+2 
程序 员 (P) Alt+3 
统计 信息 (A) Alt+4 


历史 记录 (Y) Ctrl+H 
数字 分 组 中 
基本 (B) Ctrl|+F4 
单位 转换 (U) Ctrl+U 
日 期 计算 (D) Ctrl+E 
工作 表 (W) 





到 4-5 “查看 ” 菜单 





功能 性 一 一 准确 性 


对 windows 的 计算 器 来 说 ， 计 算 器 本身 计算 结果 的 正确 性 是 计算 器 软件 在 准确 性 方 
面 的 一 个 表现 。 例 如 “1+1”， 结 果 应 该 是 “2” ,而 不 是 “3”。 青 如 “1/3”, 结 
果 “6.3333..” 是 一 个 无 限 循环 数 ， 这 个 结果 需要 保留 到 小 数 点 后 几 位 ? 未 位 是 否 
需要 四 合 五 入 ? 等 等 





-功能 性 一 一 互 操作 性 


对 Windows 的 计算 器 来 说 ， 计 算 器 中 不 同 功 能 、 特 性 之 间 是 否 能 够 正确 地 相互 配合 

是 计算 器 在 互 操作 性 方面 的 一 个 表现 。 例 如 ， “普通 计算 ”和 “日 期 计算 ”可 能 需 

要 以 图 4-6 所 示 的 方式 一 起 展示 ; 并 且 “ 普 通 计算 ”和 “日 期 计算 ”同时 在 界面 上 和 存 
在 时 ，“ 普 通 计算 ”和 “日 期 计算 ”的 计算 结果 也 需要 分 别 正确 ， 如 图 4-6 所 示 。 


可 计算 器 


查看 (V) “编辑 (E) ”帮助 (H) 








选择 所 竺 的 日 期 计算 


| 计算 两 个 日 期 之 差 


2013/ 6/27 








加 4-6 “普通 计算 ”和 “日 期 计算 ”同时 显示 


此 外 ， 对 不 同 操作 系统 的 支持 ， 如 对 windows 7 不 同 版 本 ( 包括 不 同 的 补丁 版 本 ) 
的 支持 ， 对 不 同 工 作 模式 ( 如 安全 模式 、 市 网 络 连接 的 安全 模式 ) 的 支持 也 是 互 操 
作 性 的 体现 。 


功能 性 一 安全 性 


对 Windows 的 计算 器 来 说 ， 计 算 器 不 应 该 包 合 能 够 被 利用 的 安全 漏洞 和 与 “用 户 权 
限 ” 相 关 的 内 容 ， 如 “管理 员 和 访客 都 应 该 有 相同 的 使 用 权限 ”等 ， 这 类 内 容 属 于 
计算 器 软件 在 安全 性 方面 的 体现 。 


-功能 性 一 一 功能 顺从 性 








对 Windows 的 计算 器 来 说 ， 功 能 顺从 性 可 以 理解 为 ， 作 为 一 款 计算 器 ， 计 算 规则 
( 如 平方 运算 、 统 计 运 算 等 ) 要 和 数学 中 的 相关 规则 保持 一 致 。 


4.1.3 可 靠 性 


软件 产品 质量 属性 中 的 可 靠 性 是 所 在 特定 条 件 下 使 用 时 ， 软 件 产品 维持 规定 的 性 能 
级 别 的 能 力 。 


下 面 3 个 层 层 递 进 的 句子 ， 可 以 帮助 我 们 来 理解 用 尸 可 靠 性 方面 的 要 求 : 
第 一 层 : 设备 最 好 不 要 出 故障 ; 

第 二 层 : 设备 出 现 故 障 了 不 要 影响 主要 的 功能 和 业务 ; 

第 三 层 : 如 果 影响 了 主要 功能 和 业务 ， 系 统 可 以 尽快 定位 并 恢复 。 

在 软件 产品 质量 属性 中 ， 可 靠 性 又 被 进一步 细 分 为 4 个 子 属性 ， 见 表 4- 2。 


表 4-2 可 靠 性 子 属性 


质量 子 属 性 子 特 性 描述 
成 熟 性 软件 产品 为 避免 因 软 件 故障 而 导致 失效 的 能 力 
容错 性 软件 产品 在 软件 发 生 故 障 或 者 违反 指定 接口 的 情况 下 ,维持 规定 的 性 能 级 别 的 能 力 
可 恢复 性 软件 产品 在 失效 发 生 的 情况 下 ,重建 规定 的 性 能 级 别 并 恢复 受 直 接 影响 的 数据 的 能 力 


可 靠 性 顺从 性 | 软件 产品 遵循 与 可 靠 性 相关 的 标准 、 约 定 或 规定 的 能 力 


接 下 来 我 们 同样 以 Windows 的 计算 器 为 例 ， 讨 论 可 靠 性 中 包含 的 这 4 个 子 属 性 是 如 何 
在 软件 产品 中 体现 的 。 


Windows 的 计算 器 如 何 体现 软件 产品 质量 属性 中 的 可 靠 性 


-可靠 性 一 一 成 烈性 





对 Windows 的 计算 器 来 说 ， 成 熟 性 可 以 理解 为 产品 的 功能 失效 的 概率 。 例 如 ， 计算 
器 在 持续 运行 一 段 时 间 后 ， 残 会 出 现 计 算 方 面 错 误 。 一 般 来 说 ， 这 种 错误 都 可 以 通 
过 重启 软件 、 重 启 设备 等 方法 恢复 。 


可 靠 性 一 容错 性 





对 Windows 的 计算 器 来 说 ， 容 错 性 可 以 理解 为 产品 对 用 尸 “错误 输入 ”的 处 理应 对 
能 力 ， 如 输入 除数 8 ( 1/8 ) ， 或 是 输入 一 个 超过 计算 器 能 够 处 理 的 长 度 的 数字 ， 等 


等 
十 o 


我 们 希望 计算 器 能 够 有 一 定 的 容错 处 理 机 制 ， 能 够 判断 用 户 在 使 用 过 程 中 是 否 输入 
了 “非法 值 ”， 并 能 针对 “非法 ”输入 的 内 容 和 原因 给 出 错误 提示 ， 如 第 一 个 例子 
中 ， 计 算 器 能 够 提示 “输入 错误 ， 除 数 不 能 为 90” ; 在 第 二 个 例子 中 ， 计 算 器 能 够 提 
示 “ 输 入 数 子 过 长 ”。 不 会 因为 用 户 的 任何 错误 输入 ， 而 引 友 计算 器 出 现 软 件 无 响 
应 、 软 件 重 局 等 异 单 。 


可 靠 性 一 可 恢复 性 





对 Windows 的 计算 器 来 说 ， 可 恢复 性 可 以 理解 为 计算 器 一 旦 出 现 了 产品 自身 无 法 预 
期 的 异常 ( 如 无 响应 、 重 局 ) 后 ， 能 够 恢复 。 


从 软件 产品 恢复 的 方式 来 说 ， 能 够 目 动 恢复 当然 是 最 好 的 ， 如 产品 异 弟 重 局 后 ， 软 
件 能 够 目 动 局 动 ， 最 好 还 能 恢复 到 重启 前 的 页 面 。 和 上 自动 恢复 的 方式 对 应 的 是 被 动 
恢复 ， 如 产品 长 时 间 出 现 无 啊 应 的 情况 ， 需 要 用 户 手 动 中 止 进程 ， 重 局 软件 ， 故 障 


才能 恢复 。 显 然 ， 我 们 不 希望 软件 产品 在 出 现 异 音 后 总 是 通过 被 动 恢复 来 恢复 。 


可 靠 性 ”可靠 性 顺从 性 





对 Windows 的 计算 器 来 说 ， 在 可 靠 性 顺从 性 方面 并 没有 严格 明确 的 标准 ， 但 是 也 会 
有 一 些 潜在 的 约定 ， 如 计算 器 需要 能 够 识别 出 所 有 数学 运算 的 异常 输入， 并 给 出 错 
误 原 因 的 提示 ; 计算 器 一 旦 出 现 了 异常， 需要 能 够 自动 恢复 ; 等 等 。 


通信 类 产品 在 可 靠 性 顺从 性 方面 就 有 比较 严格 的 标准 ， 如 系统 的 故障 率 不 能 高 于 多 
少 、 故 障 恢复 时 间 不 能 长 于 多 少 等 。 


4.1.4 易 用 性 


软件 严 品 质量 属性 中 的 易 用 性 是 指 用 尸 在 指定 条 件 下 使 用 软件 产品 时 ， 产 品 被 用 户 
理解 、 学 习 、 使 用 和 吸引 用 户 的 能 力 。 这 个 能 力 ， 人 简单 地 襄 残 是 16 个 字 : 易 懂 、 吻 


易 用 性 对 消费 类 的 产品 显得 尤为 重要 。 例 如 我 们 在 购买 手机 的 时 候 ， 手 机 的 外 观 是 
否 漂亮 ， 界 面 是 否 漂 亮 、 好 用 会 成 为 影响 我 们 购 机 的 一 个 重要 因素 ; 再 如 我 们 在 下 
载 一 个 移动 应 用 后 ， 很 少 有 人 会 去 阅读 它 的 手册 ， 这 个 应 用 能 不 能 被 看 懂 、 好 不 好 
用 往往 成 了 决定 这 个 应 用 能 否 继续 保留 在 移动 设备 上 的 关键 因素 。 相 对 来 说 ， 通信 
类 产品 对 易 用 性 的 要 求 束 没有 这 人 么 


在 软件 产品 质量 属性 中 ， 易 用 性 又 被 细 分 为 5 个 子 属性 ， 见 表 4-3。 


表 4-3 易 用 性 子 属 性 


质量 子 属 性 子 特性 描述 


兄 理 解 性 软件 产品 使 用 户 能 理解 软件 是 否 适合 以 及 如 何 能 将 软件 用 于 特定 的 任务 和 使 用 环境 的 能 力 
另 学 性 软件 产品 使 用 户 能 学 习 其 应 用 的 能 力 
另 操作 性 软件 产品 使 用 户 能 够 操作 和 控制 它 的 能 力 


吸引 性 软件 产品 吸引 用 户 的 能 力 
另 用 性 的 依从 性 软件 产品 遵循 与 易 用 性 相关 的 标准 、 约 定 、 风 格 指 南 或 法 规 的 能 力 


在 这 里 我 们 首先 对 吸引 性 和 易 用 性 的 依从 性 进行 简单 的 说 明 。 


在 表 4-3 中 对 吸引 性 的 解释 是 软件 产品 吸引 用 户 的 能 力 。 有 些 读者 可 能 会 将 吸引 性 理 
解 为 内 在 功能 和 外 在 UI 两 部 分 ， 我 认为 这 是 从 “产品 质量 ”整体 来 理解 的 ， 但 是 我 
们 这 里 是 在 易 用 性 这 个 维度 上 来 谈 吸 引 性 的 ， 所 以 主要 还 是 指 的 外 在 UI 一 一 通过 UI 
设计 ， 展 现 出 来 的 产品 风格 ， 比 如 简单 实用 、 酷 、 华 丽 、 设 计 感 、 可 爱 、 小 清新 
等 。 可 见 吸 引 性 并 没有 好 、 坏 乙 分 ， 而 在 于 能 不 能 吸引 住 产 品 的 目标 用 户 。 


易 用 性 的 依从 性 是 从 用 户 习 惯 的 角度 来 保证 产品 的 易 理 解 性 、 易 学 性 和 易 操作 性 。 
比如 ， 我 们 习惯 用 蓝 色 来 代表 冷水 ， 用 红色 来 代表 热 水 。 如 果 你 在 产品 设计 中 ， 用 
红色 来 表示 冷水 ， 用 蓝 色 来 代表 热 水 ， 束 很 容易 让 用 户 产生 误解 。 再 比如 一 些 深入 
人 心 的 公共 标志 ， 如 我 们 一 看 到 红 十 字 标 志 ， 残 会 想到 医院 ， 但 是 你 偏 要 在 你 的 产 
品 中 使 用 红 十 字 标 志 来 代表 邮局 ， 束 会 让 用 尸 党 得 你 的 产品 不 好 用 。 


接 下 来 我 们 以 windows 的 计算 器 为 例 ， 进一步 说 明 易 用 性 是 如 何在 产品 中 体现 的 。 
Windows 的 计算 器 如 何 体 现 软 件 产品 质量 属性 中 的 易 用 性 
(1 ) 易 用 性 一 一 易 理 解 性 


对 Windows 的 计算 器 来 说 ， 易 理解 性 是 措 我 们 能 够 理解 界面 上 每 个 按键 的 意思 ( 如 
数字 6、1、2 等 ; 各 种 运算 符号 ， 如 +、- 等 ) ， 并 知道 如 何 使 用 计算 器 来 完成 运算 
(如 计算 “1+1” ) 。 


( 2 ) 易 用 性 一 一 易学 性 
对 Windows 的 计算 器 来 说 ， 以 下 两 方面 都 是 易学 性 的 具体 体现 。 


计算 器 提供 了 “帮助 ”功能 ， 对 产品 的 功能 编制 了 索引 ， 还 提供 了 Q&A、 社 区 等 ， 
为 用 户 学 习 产 品 功能 提供 了 充分 、 完 整 的 材料 。 


:从 界面 的 截图 ( 还 是 以 标准 型 的 计算 器 为 例 ) 来 看 ,这 款 跑 企 Windows 操 作 系 统 上 
的 “虚拟 ”计算 器 ， 在 界面 设计 上 和 我 们 平时 使 用 惯 了 的 “实体 ”计算 器 几乎 是 一 
模 一 样 的 ， 这 对 即使 是 第 一 次 使 用 Mindows 操 作 系统 上 的 虚拟 计算 器 的 用 户 来 说 ， 
都 不 会 感到 陌生 ， 这 样 的 设计 ， 吻 于 用 户 快 速 上 手 ， 降 低 了 用 户 学 习 成 本 。 

( 3 ) 易 用 性 一 一 易 操 作 性 

易 操 作 性 ， 顾名思义 ， 丈 是 产品 对 用 户 来 说 容易 操作 。 这 次 我 们 以 “程序 员 类 

型 ”的 计算 器 为 例 来 说 明 。 


“程序 员 类 型 ”的 计算 器 如 图 4-7 所 示 。 


它 提 供 了 一 个 “不 同 进 制 间 的 数值 转换 功能 ”“， 如 将 十 入 进 制 的 数值 转换 为 十 进 
制 、 将 八进制 的 数值 转换 为 二 进 制 等 。 


查看 (VW) 编辑 (E) ”帮助 (H) 


8886860 90966068 860660 60600060 6060 0060 00900606 8600 
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ee 
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而 四 臣 


到 4-7 “程序 员 类 型 ”的 计算 器 





在 进行 进 制 转换 时 ， 会 输入 不 同 进 制 的 数 。 显 然 ， 不 同 进 制 的 数 允 许 输 入 的 “合法 
值 ”是 不 一 样 的 ， 比 如 十 进 制 允许 输入 值 为 ge~9， 而 二 进 制 只 人 允许 输入 8 或 1。 


Windows 的 计算 器 在 设计 不 同 进 制 间 的 数值 转换 功能 时 就 充分 考虑 了 易 操作 方面 的 
问题， 在 用 户 输 入 之 前 ， 束 对 不 同 进 制 的 数值 做 了 合法 性 限制 。 例 如 ， 当 我 们 选择 
二 进 制 的 时 候 ， 界面 只 有 “6” 和 “1” 两 个 数字 是 可 以 选择 的 ， 其 他 的 数字 会 显示 
为 灰色 ， 不 能 被 选择 ; 当 我 们 选择 十 六 进 制 的 时 候 ， 界面 上 6~106、A~F 又 变 得 都 可 
以 被 选择 。 


如 果 计 算 器 不 是 在 用 户 输入 之 前 对 数值 的 合法 性 进行 限制 ， 而 是 在 用 户 输 入 后 ， 才 
对 和 输入 值 进行 检查 ， 例 如 用 户 人 在 选择 二 进 制 时 ， 人 允许 用 户 输 入 非法 值 “3”“， 然 后 再 
提示 给 用 户 “ 输 入 有 误 ， 请 重新 输入 ”“， 这 就 增加 了 用 户 的 无 用 操作 ， 易 操作 性 就 
变 差 了 。 


(4 ) 易 用 性 一 一 吸引 性 


Windows 的 计算 器 的 风格 是 简单 实用 。 相 比 忆 下，ipPhone 的 计算 器 的 黑色 且 市 有 金 

属 磨砂 质感 的 搬 色 ， 做 了 水 晶 效果 的 按键 ， 使 用 灰色 + 褐色 + 黑色 + 梅 色 的 配色 ， 让 计 
算 稳 重 又 灵动 ， 束 显得 要 华丽 很 多 。 但 是 我 们 却 不 能 得 出 这 两 款 计 算 器 谁 更 具有 了 吸 

引力 的 结论 一 一 这 丈 是 两 款 产品 不 同 的 风格 。 如 图 4-8 所 示 。 





(5 ) 易 用 性 一 一 易 用 性 的 依从 性 


对 Windows 的 计算 器 来 说 ， 在 界面 设计 上 模仿 实体 计算 器 是 易 用 性 依从 性 的 一 个 体 
现 。 显 然 ， 这 样 的 设计 有 利于 用 户 更 好 地 理解 和 学 习 这 种 “虚拟 ”计算 器 。 


-了 | 计算 矣 
查看 (V) 编辑 (E) 帮助 (H) 





图 4-8 两 款 不 同 风格 的 计算 器 
4.1.5 效率 


软件 产品 质量 属性 中 的 效率 是 指 在 规定 条 件 下 ， 相 对 于 所 用 资源 的 数量 ， 软 件 产品 
可 提供 适当 的 性 能 的 能 力 。 通 常 ， 效 率 就 是 我 们 常 说 的 产品 性 能 。 

在 软件 产品 质量 属性 中 ， 效 率 属性 叉 被 分 为 如 下 3 个 子 属性 ， 见 表 4-4。 

表 4-4 效率 属性 子 属性 

质量 子 属性 子 特性 描述 

时 间 特 性 在 规定 条 件 下 ， 软 件 产品 执行 其 功能 时 ， 提 供 适 当 的 啊 应 和 处 理 时 间 以 及 流量 (看 吐 量 ) 的 能 力 


资源 利用 率 | 在 规定 条 件 下 ， 软 件 产品 执行 其 功能 时 ， 使 用 合适 数量 和 类 别 的 资源 的 能 力 
效率 依从 性 | 软件 产品 还 循 与 效率 相关 的 标准 或 约定 的 能 力 


接 下 来 我 们 将 以 Windows 的 计算 器 为 例 ， 说明 效 率 是 如 何在 产品 中 体现 的 。 


windows 的 计算 器 如 何 体现 软件 产品 质量 属性 中 的 效率 
( 1 ) 效率 一 时 间 特 性 


对 windows 的 计算 器 来 说 ， 得 到 正确 运算 结果 的 响应 时 间 可 以 理解 为 是 时 间 特 性 的 
一 个 体现 。 如 进行 两 个 大 数 相 乘 ， 从 输入 到 得 到 正确 结果 的 时 间 。 


( 2 ) 效率 一 一 资源 利用 率 


对 Windows 的 计算 器 来 说 ， 运算 时 ， 占 用 Windows 系 统 资 源 值 ( 如 cPU 和 内 存 ) 是 否 
合理 ， 可 以 理解 为 是 资源 利用 率 的 一 个 体现 。 





效率 依从 性 


( 3 ) 效率 


对 Windows 的 计算 器 来 说 ， 效 率 依从 性 可 以 理解 为 “在 运行 计算 器 时 ， 对 系统 的 资 
源 占有 率 不 应 该 高 于 百 分 之 多 少 ” “在 进行 某 种 级 别 的 复杂 运算 的 时 候 ， 对 系统 资 


源 的 占有 率 又 不 能 高 于 多 少 ” 等 这 类 需要 遵守 的 约定 。 
4.1.6 可 维护 性 


软件 严 品 质量 属性 中 的 可 维护 性 是 指 软件 产品 可 被 修改 的 能 力 。 这 里 的 修改 是 指 纠 
正 、 改 进 软件 产品 ， 和 软件 产品 对 环境 、 功 能 规格 变化 的 适应 性 。 


在 软件 产品 质量 属性 中 ， 可 维护 性 又 被 分 为 如 下 5 个 子 属性 ， 见 表 4-5。 


表 4-5 可 维护 性 子 属 性 


质量 子 属性 子 特 性 描述 
修 


可 分 析 性 软件 产品 诊断 软件 中 的 缺陷 、 失 效 原 因 或 识别 待 修改 部 分 的 能 力 
可 修改 性 软件 产品 能 够 被 修改 的 能 力 

稳定 性 软件 产品 不 会 因为 修改 而 造成 意外 结果 的 能 力 

可 测试 性 软件 产品 已 修改 的 部 分 能 够 被 确认 修复 的 能 力 

可 维护 性 的 依从 性 | “软件 产品 遵循 与 维护 性 相关 的 标准 或 约定 的 能 力 


在 这 里 我 们 首先 对 可 测试 性 进行 简要 的 说 明 。 


很 多 朋友 看 到 可 测试 性 ， 就 会 望 文生 义 ， 认 为 这 个 属性 的 对 象 是 软件 测试 ， 和 软件 
开 友 、 和 最 终 用 户 无 天 。 这 样 理解 是 不 准确 的 。 


可 测试 性 关注 的 是 软件 的 修改 是 否 正 确 、 是 否 符合 预期 。 因 此 第 一 个 和 可 测试 性 有 
杀 密 关系 的 是 软件 开 友 ， 接 下 来 才 是 软件 测试 。 对 最 终 用 户 来 说 ， 他 们 可 能 也 会 让 
产品 研发 提供 一 些 万 法 或 证 据 来 证 明 某 个 bug 确 实 被 正确 修复 了 。 因 此 ， 可 测试 性 是 
产品 质量 重要 的 组 成 部 分 ， 需 要 设计 。 展 好 的 可 测试 性 不 仅 可 以 帮助 开 友 、 测 试 快 
速 、 准 确 确认 修改 结果 ， 也 能 帮助 研 友 和 用 尸 之 间 建 立民 好 的 信任 合作 关系 。 


接 下 来 我 们 将 以 Windows 的 计算 器 为 例 ， 说明 可 维护 性 是 如 何在 产品 中 体现 的 。 
Windows 的 计算 器 如 何 体现 软件 产品 质量 属性 中 的 可 维护 性 
(1 ) 可 维护 性 一 一 可 分 析 性 


对 Windows 的 计算 器 来 说 ， 可 分 析 性 可 以 理解 为 ， 假 如 计算 器 友 生 了 严重 的 异常 
( 如 重启 ) ， 计 算 器 能 够 捕捉 并 记录 这 些 异 单 信息， 并 且 这 些 信息 对 开 友 人员 来 癌 
是 足够 的 、 有 用 的 ， 能 够 用 于 定位 、 复 现 并 解决 这 个 问题 。 





( 2 ) 可 维护 性 一 一 可 修改 性 


对 Windows 的 计算 器 来 说 ， 可 修改 性 可 以 理解 为 ， 在 用 户 处 发 现 的 产品 缺陷 可 以 被 
修复 ， 并 可 以 通过 产品 升级 来 修复 用 尸 处 的 产品 缺陷 。 


例如 ， 假 设计 算 器 试图 添加 一 个 叫 作 “五 险 一 金 的 快速 计算 ”的 新 功能 ， 开 上 友 人员 
能 够 在 原 有 代码 的 基础 上 扩展 实现 新 的 功能 。 


( 3 ) 可 维护 性 一 一 稳定 性 


对 Windows 的 计算 器 来 说 ， 稳 定性 可 以 理解 为 ， 计 算 器 版 本 更 新 后 ， 不 会 因为 修改 
而 引入 新 的 问题 ， 产 品 依然 能 够 稳定 工作 。 





(4 ) 可 维护 性 一 一 可 测试 性 


对 Windows 的 计算 器 来 说 ， 可 测试 性 可 以 理解 为 ， 计 算 器 的 所 有 改动 都 是 可 以 被 验 
证 的 ， 能 够 确认 改动 是 否 正确 、 符 合 预期 。 





( 5 ) 可 维护 性 一 一 可 维护 性 的 依从 性 


对 Windows 的 计算 器 来 说 ，Windows 在 软件 出 现 故障 时 会 弹出 “x x x 遇 到 问题 要 关 
闭 ” 之 类 的 提示 ， 这 就 是 可 维护 性 的 依从 性 的 一 种 体现 。 


4.1.7 可 移植 性 


软件 产品 质量 属性 中 的 可 移植 性 是 指 软件 产品 从 一 种 环境 迁移 到 另外 一 种 环境 的 能 
力 。 这 里 的 环境 ， 可 以 理解 为 硬件 、 软 件 或 组 织 等 不 同 的 环境 。 


在 软件 产品 质量 属性 中 ， 可 移植 性 又 包含 了 如 下 5 个 子 属 性 ， 见 表 4-6。 


表 4-6 可 移植 性 子 属性 


质量 子 属性 子 特性 描述 
适应 性 软件 产品 无 须 采 用 额外 的 活动 或 手段 就 可 适应 不 同 指定 环境 的 能 力 
可 安装 性 软件 产品 在 指定 环境 中 被 安装 的 能 力 
共存 性 软件 产品 在 公共 环境 中 同 与 其 分 享 公共 资源 的 其 他 独立 件 共存 的 能 力 
另 蔡 换 性 软件 产品 在 同样 的 环境 下 ， 蔡 换 另 一 个 相同 用 途 的 指定 软件 产品 的 能 力 
可 移植 性 的 依从 性 软件 产品 遵循 与 可 移植 性 相关 的 标准 或 约定 的 能 力 


接 下 来 我 们 将 以 Windows 的 计算 器 为 例 ， 说明 可 移植 性 是 如 何在 产品 中 体现 的 。 
Windows 的 计算 器 如 何 体现 软件 产品 质量 属性 中 的 可 移植 性 
( 1 ) 可 移植 性 一 一 适应 性 


对 Windows 的 计算 器 来 说 ， 适 应 性 可 以 理解 为 ， 计 算 器 在 不 同 大 小 的 显示 屏 中 ， 计 
算 器 的 布局 、 大 小 、 清 晰 度 、 按 键 的 排列 等 是 否 都 能 正常 地 显示 。 





对 Windows 的 计算 器 来 说 ， 可 安装 性 可 以 理解 为 ， 计 算 器 能 否 被 顺利 安装 到 不 同 的 
Windows 操 作 系 统 上 ， 并 能 正常 运行 。 


( 3 ) 可 移植 性 一 一 共存 性 


对 Windows 的 计算 器 来 说 ， 共 存 性 可 以 理解 为 ， 计 算 器 和 其 他 软件 能 够 同时 在 
Windows 中 共存 ， 不 会 存在 资源 ( 如 CPU、 内 存 等 ) 争 抢 方面 的 问题 。 


(4 ) 可 移植 性 一 一 易 蔡 换 性 


对 Windows 的 计算 器 来 说 ， 易 替换 性 可 以 理解 为 ， 假 设 产 品 开 发 了 新 的 计算 器 ， 新 
的 计算 器 能 够 成 功 蔡 换 掉 老 的 计算 器 。 ( 注意 ， 此 时 不 是 指 通 过 “产品 升级 ”的 方 
式 ， 而 是 可 能 存 企 “ 新 ”“| 旧 ”两 个 计算 器 同时 共存 的 情况 。 ) 


( 5 ) 可 移植 性 一 一 可 移植 性 的 依从 性 





对 Windows 的 计算 器 来 说 ， 可 移植 性 的 依从 性 可 以 理解 为 Nindows 产 品 在 可 移植 性 方 
面 的 一 些 约定 。 例 如 ， 计算 器 并 不 是 针对 某 款 特 定 的 操作 系统 开发 的 ， 需 要 支持 
Windows 所 有 操作 系统 。 


4.2 测试 类 型 


测试 类 型 指 的 是 测试 需要 考虑 的 不 同 角度 。 提 到 测试 类 型 ， 很 多 朋友 并 不 陌生 ， 往 
往 还 能 如 数 家 珍 、 娓 媚 道 来 : 功能 测试 、 性 能 测试 、 压 力 测试 、 兼 容 性 测试 、 易 用 
性 测试 、 可 靠 性 测试 等 。 


对 软件 测试 架构 师 来 说， 经 常 需要 请 测试 组 员 按 照 某 种 测试 类 型 对 被 测 对 象 进行 分 
析 。 但 是 测试 类 型 有 很 多 ， 清楚 理 解 这 些 众 多 的 测试 类 型 的 概念 并 不 是 一 件 容 易 的 
事情 ， 尤其 对 软件 测试 架构 师 来 说 ， 如 何 才 能 让 测试 组 员 对 测试 类 型 的 理解 保持 一 
致 呢 ? 


对 上 面 两 个 问题 ， 我 推荐 一 个 方法 : 我 们 可 以 借助 软件 产品 质量 模型 ( 以 下 简 

称 “ 质 量 模型 ” ) 来 快速 定义 、 理 解 测试 类 型 。 具 体 方法 有 上 以 下 几 个 。 

我 们 只 需要 把 质量 属性 中 的 “x x 性 ” 换 成 “x x 测试 ”， 并 在 质量 属性 的 定义 前 面 
加 上 “验证 ”二 字 ， 融 把 质量 属性 转变 成 了 测试 类 型 。 


例如 ， 易 用 性 的 定义 是 用 尸 在 指定 条 件 下 使 用 软件 产品 时 ， 产 品 被 用 尸 理解 、 学 
习 、 使 用 和 吸引 用 户 的 能 力 ; 易 用 性 测试 束 可 以 定义 为 验证 用 尸 在 指定 条 件 下 使 用 
软件 严 品 时 ， 产 品 被 用 己 理 解 、 学 习 、 使 用 和 吸引 用 户 的 能 力 。 


由 于 质量 属性 是 标准 的 、 确 定 的 ， 只 要 我 们 正确 理解 了 质量 属性 ， 测 试 类 型 顺 理 成 


章 地 也 束 被 正确 理解 了 。 


使 用 这 个 方法 还 有 个 额外 的 收获 ， 束 是 我 们 可 以 以 质量 属性 为 参照 标准 来 避免 测试 
类 型 的 遗漏 。 例 如 ， 在 测试 设计 评审 中 ， 我 们 可 以 据 此 来 评审 测试 点 或 测试 用 例 考 
虑 的 测试 类 型 是 否 全 面 。 


有 时候 我 们 将 一 些 典 型 的 业务 操作 作为 测试 类 型 ， 如 配置 测试 、 安 六 测试 等 。 这 样 
定义 的 测试 类 型 一 般 不 难 理解 ， 但 它 可 能 会 对 应 多 个 质量 属性 ， 不 过 分 析 这 些 对 应 
关系 也 并 不 复杂 。 例 如 ， 配置 测 试 对 应 的 质量 属性 是 功能 性 和 易 用 性 。 


如 果 说 质量 属性 解决 的 是 要 从 哪些 角度 去 设计 产品 才能 满足 用 户 需 求 ， 那 么 测试 类 
型 解决 的 就 是 测试 要 从 哪些 角度 去 分 析 和 测试 产品 。 难 怪 有 人 称 测试 类 型 为 测试 的 
视角 ， 图 4-9 总 结 了 这 些 关 系 。 


测试 类 型 
(测试 视角 ) 产品 设计 视角 ) 





图 4-9 质量 属性 和 测试 类 型 的 关系 


表 4-7 总 结 了 一 些 单 见 的 测试 类 型 ， 并 给 出 了 这 些 测试 类 型 和 质量 属性 的 对 应 关系 ， 
供 读者 朋友 们 参考 。 


表 4-7 常见 测试 类 型 及 其 与 质量 属性 关系 表 


名 称 对 应 的 质量 属性 
























功能 测试 站 品 能 否 满 足 用 户 特 定 功 能 要 求 并 做 出 正确 啊 应 功能 性 

安全 性 测试 验证 产品 是 否 有 保护 数据 的 能 力 ， 并 能 在 合适 的 范围 内 承受 恶意 攻击 功能 性 

兼容 性 测试 | 验证 产品 是 否 能 够 和 其 他 相关 产品 顺利 对 接 功能 性 
,< 机 = 大 三 | 


验证 7 
全 会 出 现 故 障 
验证 产品 在 长 时 间 运 行 下 能 否 满足 保证 系统 的 性 能 水 平 ; 
统 是 否 ;依然 可 靠 
兄 用 性 测试 验证 产品 是 否 易于 理解 、 易 于 学 习 和 易于 操作 
性 能 测试 测试 产品 提供 某 项 功能 时 的 时 间 和 资源 使 用 情况 
安装 测试 测试 产品 能 否 被 正确 安装 并 运行 可 移植 性 


i 能够 在 推荐 配置 上 流畅 运行 ; 验证 产品 为 了 完成 特定 功能 的 输入 是 


-bD 征 企 


功能 性 ， 易 用 性 


配置 测试 


可 靠 性 测试 


4.3 测试 万 法 


在 上 一 个 章节 ， 我 们 讨论 了 测试 类 型 ， 即 测试 要 从 哪些 角度 去 测试 产品 ， 确定 了 测 
试 的 思路 。 接 下 来 我 们 要 讨论 的 束 是 怎么 做 的 问题 了 ， 即 具体 的 测试 方法 。 本 书 将 
重点 为 大 家 介绍 功能 测试 、 可 靠 性 测试 、 易 用 性 测试 和 性 能 测试 的 一 些 通用 的 测试 
方法 。 


4.3.1 产品 测试 车 轮 图 


正 是 因为 软件 产品 有 很 多 质量 属性 ， 这 些 都 需要 软件 测试 去 验证 ， 所 以 软件 测试 才 
会 有 如 此 多 的 测试 类 型 。 每 一 种 测试 类 型 又 包含 了 很 多 测试 方法 ， 去 验证 确认 产品 
的 这 种 质量 属性 。 这 融 构 成 了 一 个 软件 测试 者 要 从 哪些 方面 ( 测试 类 型 ) 用 哪些 方 
法 ( 测试 方法 ) 去 测试 产品 ( 质量 属性 ) 的 天 系 图 ， 由 于 这 个 图 画 出 来 后 看 起 来 像 
个 “车 轮 ”， 我 们 也 称 它 为 产品 测试 车 轮 图 ， 如 图 4-16 所 示 。 


可 靠 性 测试 法 功能 测试 法 

。 异 常 值 输入 法 。 单 运行 正常 值 输入 法 
。 故障 植 入 法 。 单 运行 边界 值 输入 法 
。 稳 定性 测试 法 。 多 运行 顺序 执行 法 

。 压力 测试 法 。 多 运行 相互 作用 法 


。 恢复 测 试 法 


性 能 测试 法 


兄 用 性 测试 法 
。 一 致 性 测试 法 
。 可 用 性 测试 法 


可 维护 性 测试 法 





图 4-16 产品 测试 车 轮 图 


图 4-16 摘 绘 的 质量 属性 的 入 大 类 和 测试 类 型 之 间 的 关系， 并 没有 深入 到 各 个 质量 子 
属性 和 各 个 子 属 性 对 应 的 测试 类 型 中 去 ( 大 家 不 妨 目 己 动手 绘制 一 下 “质量 子 属 
性 ”的 车 轮 图 ) 。 图 中 标注 出 了 本 节 将 要 详细 讲解 的 几 个 测试 类 型 ( 功能 、 可 靠 
性 、 性 能 和 易 用 性 ) 的 测试 方法 ， 使 大 家 对 本 节 将 要 叙述 的 内 容 有 个 整体 的 概念 。 


从 “车 轮 图 ”中 能 够 分 析出 产品 测试 的 两 个 关键 问 题 。 


一 是 如 何 保证 测试 验证 的 “全 面 性 ”的 问题 。 显 然 ， 只 要 我 们 使 用 的 测试 方法 能 够 
履 善 入 大 质量 属性 ， 我 们 的 测试 融 不 会 出 现 大 方向 性 的 遗漏 。 


二 是 如 何 确定 测试 “深度 ”的 问题 。 一 般 来 说 ， 测 试 团队 使 用 的 测试 方法 越 多 ， 对 
产品 束 测 试 得 越 深 。 


这 些 都 会 影响 测试 的 效果 ， 影响 测试 对 产品 质量 的 评估 。 


除 此 之 外 ，“ 车 轮 图 ”还 能 帮助 我 们 评估 测试 团队 的 能 力 。 软 件 测试 人 员 能 够 驾 双 
的 测试 方法 越 多 ， 他 的 测试 能 力 残 越 强 ; 相应 地 ， 一 个 测试 团队 能 够 驾驭 的 测试 方 
法 越 多 ， 这 个 团队 的 测试 能 力 融 越 组 。 这 为 我 们 如 何 提升 团队 能 力 ， 提 供 了 思路 。 


需要 特别 指出 的 是 ， 测 试 团队 的 能 力 强 ， 能 够 荡 驭 很 多 测试 方法 ， 不 等 于 在 测试 中 
都 要 使 用 这 上 毕 方法 一 一 测试 不 是 越 多 越 好 ， 而 是 需要 根据 产品 的 质量 目标 、 产 品 的 
风险 分 析 来 确定 测试 的 重点 和 难点 、 深 度 和 广度 ， 这 融 是 测试 荣 略 。 和 测试 案 略 相 
天 的 问题 ， 我 们 将 人 在 第 6 章 和 第 7 章 中 为 大 家 重点 叙述 。 





4.3.2 功能 测试 方法 
功能 测 斌 方法， 顾名思义 ， 束 是 对 产品 功能 进行 测试 的 方法 。 
本 节 中 讨论 的 功能 测试 方法 ， 是 一 些 通用 的 测试 方法 ， 和 具体 业务 无 天， 包括 : 
单 运行 正常 值 输入 法 。 
单 运行 边界 值 输入 法 。 
多 运行 顺序 执行 法 。 
多 运行 相互 作用 法 。 
1. 什 么 是 “运行 ” ? 
功能 测试 方法 中 都 提 到 了 运行 ， 我 们 该 如 何 理解 “运行 ”这 个 概念 呢 ? 


定义 : 


-运行 : 在 软件 测试 中 ， 测 试 人 员 模 拟 的 用 己 的 “操作 ”或 “行为 ”。 
单 运行 : 在 软件 测试 中 ， 测 试 人 员 模 拟 的 用 户 的 “一 个 操作 ”或 “一 个 行为 ”。 
:多 运行 : 在 软件 测试 中 ， 测 试 人 员 模 拟 的 用 户 的 “多 个 操作 ”或 “多 个 行为 ”。 


也 融 是 说，“ 运 行 ”是 指 从 用 户 的 角度 来 看 ， 有 意义 的 操作 或 行为 。 从 功能 的 层面 
来 说 ， 一 个 “运行 ”确定 了 “输入 ”和 “输出 ”的 一 种 可 能 的 情况 ， 如 图 4-11 所 


/J\。 


单 运行 操作 1 il 


图 4-11 功能 层面 的 运行 示意 图 





其 中 “输入 A1” 和 “输入 A2” 代 表 “ 功 能 1” 人 允许 输入 的 参数 ; “ 单 运行 操作 1” 的 
输入 是 “A1”， 输 出 为 “B1” ; “ 单 运行 操作 2” 的 输入 是 “A2”， 输 出 

为 “B2”。 

实际 中 ，“ 用 户 写 了 一 封 电子 邮 件 ” “用户 发 送 了 一 封 电 子 邮件 ” “用户 打 了 一 个 
电话 ” “用 户 发 了 一 条 短 消息 ” “用 户 提 交 了 一 个 购物 订单 ”等 行为 ， 都 可 以 被 称 
为 一 个 “运行 ”。 

有 时 候 ， 我 们 会 从 设计 的 角度 来 划分 功能 ， 不 能 为 用 户 提供 一 个 完整 的 、 有 意义 的 
行为 ， 例 如 “用 户 和 邮件 服务 器 建立 了 一 个 新 的 连接 ” “邮件 服务 器 删 掉 了 和 用 户 


的 连接 ”， 这 种 细 粒 度 的 功能 即使 确定 了 输入 和 和 输出， 都 不 算 作 “运行 ”。 这 时 ， 
可 以 将 多 个 功能 组 合 起 来 ， 直 到 这 个 功能 能 够 为 用 尸 提供 完整 的 、 有 意义 的 行为 为 
止 。 图 4-12 摘 绘 了 在 这 种 情况 下 ， 功 能 和 运行 的 关系。 


单 运 行 控 滑 = 本 | | 入 ee a | | 入 出 
单 运 行 控 作 ] [输入 Al 

功能 ] 二 克 EE 全 了 本 
单 运行 操作 2 | 输入 A2 输入 C2 力 能 2 输出 B2 


图 4-12 功能 与 运行 的 天 系 





其 中 “输入 A1” 和 “输入 A2” 代 表 “ 功 能 1” 人 允许 输入 的 参数 ; “输入 C1” 和 “ 输 
入 C2” 代 表 “ 功 能 2” 人 允许 输入 的 参数 。“ 单 运行 操作 1” 的 输入 
是 “A1” 和 “C1”， 输出 为 “B1” ; “ 单 运行 操作 2” 的 输入 是 “A2” 和 “C2”， 


输出 为 “B2”， 它们 都 涉及 了 “功能 1” 和 “功能 2”。 


”操作 放 在 一 起 考虑 ， 得 到 的 结果 束 是 “多 运行 ”操作 。 图 4-13 整 
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实际 中 ，“ 用 户 在 友 送 电子 邮件 的 时 候 又 收 到 了 一 封 电 子 邮 件 ”“ 用 户 正 在 打 电 话 
的 时 候 收 到 了 一 条 短 消息 ”都 是 “多 运行 ”的 例子 。 





图 4-13 “多 运行 ”操作 示意 图 


理解 了 “运行 ”之 后 ， 我 们 融 可 以 开始 讨论 功能 测试 方法 了 。 


2 . 单 运行 正常 值 输入 法 


对 图 4-14 来 说 ， 单 运行 正常 值 输入 法 束 是 测试 时 输入 的 “A1” 和 “A2” 是 系统 允许 
的 “ 正 弟 值 ”的 测试 方法 。 


例如 ， 对 “用 尸 友 送 电 子 邮件 ”来 说 ，“ 收 件 人 的 邮箱 名 ”“ 友 件 人 的 邮箱 

名 ” “邮件 标题 ”“ 邮 件 内 容 ” 和 “邮件 优先 级 ”都 是 测试 输入 。 使 用 “ 单 运 行 正 
单 值 输入 法 ”来 进行 测试 时 ， 我 们 只 需要 测试 正确 “ 收 件 人 地 址 ”“ 友 件 人 地 
址 ”“ 邮 件 标题 ”“ 邮 件 内 容 ” 和 “邮件 优先 级 ” 即 可 。 


对 一 个 功能 的 输入 值 来 襄 ， 有 时 候 系统 允许 输入 的 正 弟 值 的 个 数 是 有 限 的 ， 例 

如 “邮件 优先 级 ”的 输入 就 是 有 限 的 ( 优先 级 分 别 为 “高 “中 ”和 “ 低 ”) ;有 
时 候 系 统 允许 输入 的 正常 值 的 个 数 又 是 无 限 的 ， 例 如 “ 收 件 人 的 邮箱 名 ”的 输入 区 
是 无 穷尽 的 。 


对 输入 个 数 有 限 的 情况 ， 我 们 需要 遍历 这 些 取 值 ; 对 输入 个 数 无 限 的 情况 ， 我 们 可 
以 使 用 “等 价 类 ”的 思想 将 输入 值 分 类 ， 然 后 在 每 一 类 中 选取 一 些 测试 值 来 进行 测 
试 ， 变 无 限 为 有 限 。 


在 实际 中 更 常见 的 情况 是 ， 一 个 “运行 ”中 存在 很 多 输入 ， 这 些 输入 有 些 个 数 是 有 
限 的 ， 有 些 个 数 无 限 的 ， 而 且 这 些 输入 之 间 可 能 还 存在 某 种 逻辑 关系 。 我 们 将 在 后 
续 讨论 测试 设计 方法 时 ， 在 “参数 类 ” “数据 类 ”和 “组 合 类 ”中 ( 4.4.4 节 ) 继续 
和 大 家 一 起 讨论 相关 内 容 . 

3 . 单 运 行 边界 值 输入 法 


对 图 4-15 来 况 ， 单 运行 边界 值 输入 法 融 是 测试 时 输入 的 “A1” 和 “A2” 是 系统 


的 “边界 值 ”的 测试 方法 。 
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单 运行 操作 1 
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功能 , 


相信 大 家 对 “边界 值 ” 的 概念 不 会 感到 陌生 ， 最 经 典 的 例子 是 ， 假 设 某 处 允许 的 输 
入 值 是 一 个 范围 [1、16]， 这 时 6、1、18 和 11 束 是 我 们 所 说 的 “边界 值 ”。 


单 运 行 操 作 1 





单 运 行 操作 2 


图 4-15 单 运行 边界 值 输入 法 


和 “ 单 运行 正常 值 输入 法 ” 相 比 ，“ 单 运行 边界 值 输入 法 ”的 测试 数据 包含 了 “ 正 
党 输入 ”( 如 1 和 16 ) 和 “非法 输入 ” ( 如 e 和 11 ) 。 因 此 它 既 能 测试 到 正常 处 理 ， 
又 能 测试 到 非 正常 处 理 。 


以 测试 “用 户 友 送 电子 邮件 ”为 例 ， 我 们 考虑 的 边界 值 是 : 


' 收 件 人 的 数目 为 系统 支持 的 最 大 数 。 
收 件 人 的 数目 为 系统 支持 的 最 大 数 +1。 
收 件 人 的 数目 为 1 位 。 

收 件 人 为 空 。 

-邮件 名 为 系统 支持 的 最 大 长 度 。 
-邮件 名 为 系统 支持 的 最 大 长 度 +1。 
-邮件 名 为 空 。 

-邮件 长 度 为 系统 支持 的 最 大 长 度 。 
-邮件 长 度 为 系统 支持 的 最 大 长 度 +1。 
-邮件 长 度 为 空 。 


既然 “ 单 运行 边界 值 输入 法 ”也 能 够 测试 正常 值 ， 是 不 是 “ 单 运行 边界 值 测试 
法 ”能 够 替代 “ 单 运行 正常 值 输入 法 ” 呢 ? 


对 于 与 此 相关 的 测试 设计 方法 ， 我 们 还 将 在 4.4.4 节 中 继续 和 大 家 一 起 展开 讨论 。 
4. 多 运行 顺序 执行 法 


如 果 大 家 注意 分 析 一 下 产品 在 功能 方面 的 缺陷 ， 就 会 友 现 一 些 问题 在 单 运行 的 情况 
下 并 不 会 友 生 ， 而 是 在 将 多 个 单 运行 组 合 起 来 的 时 候 才 会 友 生 。 例 如 ， 可 能 会 出 现 


用 尸 只 打 电 话 ， 打 电话 功能 正常 ; 只 接收 短信 ， 接收 短信 的 功能 也 正常 ; 但 是 如 果 
正在 打 电 话 的 时 候 ， 接 收 到 了 一 条 短信 息 ， 这 时 打 电 话 ( 或 者 接收 短信 ) 的 功能 就 
会 出 现 问题 。 所 以 在 进行 功能 测试 的 时 候 ， 我 们 还 需要 测试 多 运行 情况 下 的 功能 
确 性 。 


按照 多 个 单 运 行 的 组 合 方式 的 不 同 ， 多 运行 下 的 测试 方法 又 可 以 分 为 多 运行 顺序 执 
行 法 和 多 运行 相互 作用 法 。 我 们 先 来 说 明 多 运行 顺序 执行 法 是 怎样 工作 的 。 

多 运行 顺序 执行 法 是 指 在 功能 测试 时 按照 一 定 的 顺序 来 进行 多 个 运行 操作 的 测试 方 
法 ， 如 图 4-16 所 示 。 





图 4-16 多 运行 顺序 执行 法 


使 用 多 运行 怖 序 执行 法 进行 测试 时 ， 分 析 各 个 运行 之 间 的 顺序 性 ， 是 使 用 该 方法 的 
关键。 


例如 ， 我 们 要 测 坛 “用 户 收 到 一 封 电子 邮件 ”和 “用 户 友 送 一 封 电 子 邮件 ”这 两 个 


功能 。 这 两 个 功能 同时 也 是 两 个 运行 。 

我 们 首先 将 这 两 个 运行 按照 顺序 组 合 起 来 ， 有 下 面 几 种 情况 : 
( 1 ) 用 尸 先 收 到 一 封 电 子 邮 件 后 ， 再 友 送 一 封 电 子 邮 件 。 

( 2 ) 用 尸 先 发 送 一 封 电 子 邮 件 后 ， 青 收 到 一 封 电 子 邮 件 。 


然后 我 们 需要 分 别 分 析 一 下 ， 两 种 运行 的 组 合 是 否 具 有 一 定 的 顺序 性 。 容 易 分 析 


出 ， 第 ( 2 ) 种 情况 中 ， 两 个 运行 之 间 并 没有 这 种 顺序 性 。 


我 们 再 把 注意 力 集中 到 第 ( 1 ) 种 情况 下 ， 深 入 分 析 一 下 残 能 上 友 现 第 ( 1 ) 种 情况 又 
包含 了 两 种 情况 ( 我 们 分 别 用 @ 和 @ 来 编号 ) : 


@@ 用 户 收 到 一 封 电子 邮件 后 ， 再 接 痢 上 友 送 这 封 收 到 的 电子 邮件 。 
@ 用 户 收 到 一 封 电子 邮件 后 ， 再 及 送 一 封 任意 电子 邮件 。 


显然 ， 在 第 @ 种 情况 下 两 个 运行 之 间 也 是 没有 顺序 性 的 ; 而 在 第 @ 种 情况 下 两 个 运 
行 之 间 是 有 一 定 的 顺序 性 的 一 一 我 们 必须 按照 移 收 邮件 再 友 送 邮件 的 顺序 来 进行 这 
个 操作 ， 这 个 操作 才 是 有 意义 的 。 因 此 ， 第 @ 种 情况 融 是 我 们 通过 使 用 多 运行 顺序 


多 运行 顺序 执行 法 在 和 用 户 的 操作 习惯 相关 的 地 方 使 用 非常 有 效 。 


例如 ， 用 户 登 录 、 用 户 选 择 商 品 、 用 尸 提交 订单 这 几 个 运行 ， 有 的 用 户 的 操作 习惯 
是 先 登录 ， 表 选择 商品 ; 有 的 用 户 的 操作 习惯 可 能 是 先 选 择 商品 然后 再 登录 。 这 残 
需要 我 们 先 分 析 这 些 操作 可 能 的 先后 顺序 再 来 进行 测试 。 如 图 4-17 所 示 。 


多 运行 操作 1 用 户 登 录 用 户 选择 商品 用 户 提 交 订 单 





多 运行 操作 2 | 用户 选择 商品 东 用 户 提 交 订 单 


多 运行 操作 3 | 用 户 选择 商品 用 户 提交 订单 





图 4-17 操作 顺序 示意 图 


此 外 ， 多 运行 顺序 执行 法 也 比较 适合 使 用 在 功能 的 配置 测试 上 。 


例如 在 防火 墙 产 品 的 测试 中 ， 完 成 一 个 “数据 包 过 滤 功 能 ”的 配置 。 最 常见 的 配置 
思路 是 ， 依 次 配置 接口 、 配 置 安全 区 域 、 将 接口 加 入 到 安全 区 域 中 、 在 安全 区 域 之 
间 配 置 包 过 滤 ， 如 图 4-18 所 示 。 


1 a 将 接口 ] 生 安 全 区 域 | 
配置 接口 配置 安全 区 域 性 接口 加 入 在 安全 区 域 间 





到 安全 区 域 配置 包 过 洲 
图 4-18 配置 数据 包 过 滤 功 能 


也 许 我 们 对 防火 墙 产品 的 业务 并 不 熟悉 ， 但 是 从 这 个 配置 顺序 中 ， 我 们 还 是 容易 看 
出 这 些 配 置 之 间 存在 一 些 顺 序 性 。 


(1 ) 只 有 配置 了 “接口 ”和 “安全 区 域 ” 后 ， 才 能 将 “接口 加 入 到 安全 区 域 ” 中 。 
( 2 ) 只 有 将 “接口 加 入 到 安全 区 域 中 ”了 ， 才 能 在 “安全 区 域 之 间 配 置 包 过滤 ”。 


于 是 得 到 了 如 图 4-19 所 示 的 测试 点 。 


将 接口 加 入 
到 安全 区 域 


将 接口 加 入 
到 安全 区 域 





! 未 将 接口 加 入 ! 
1! ”到 安全 区 域 ， 


[| 


图 4-19 得 到 的 测试 点 


在 多 运行 操作 1 和 多 运行 操作 2 中 未 写 出 “在 安全 区 域 间 配置 包 过 滤 ” 这 个 操作 ， 是 
因为 配置 执行 到 “将 接口 加 入 到 安全 区 域 ”中 时 惑 失败 了 ， 没 有 再 写 下 面 这 个 步骤 
的 必要 了 。 


我 们 还 可 以 对 上 面 配置 测试 略微 扩展 。 以 “将 接口 加 入 到 安全 区 域 ”这 个 操作 为 
例 ， 容 易 想到 ， 既 然 这 个 操作 是 建立 在 “配置 接口 ”和 “配置 安全 区 域 ” 之 上 的 ， 
那么 我 们 在 “将 接口 加 入 到 安全 区 域 ” 之 后 ， 融 不 能 删除 “接口 ”的 配置 和 “安全 
区 域 ” 的 配置 。 这 样 又 扩展 出 了 如 图 4-26 所 示 的 几 个 测试 点 。 


将 接口 加 入 


广 展 多 运行 操作 1 | 配置 接 Sp 接口 加 
扩展 多 运行 操作 1 置 接口 配置 安全 区 域 到 安全 区 域 


删除 接口 配置 


将 接口 加 入 
到 安全 区 域 


扩展 多 运行 操作 2 | 配置 接口 配置 安全 区 域 删除 安全 区 配置 





图 4-26 扩展 出 的 测试 点 


我 们 还 可 以 继续 扩展 ， 考 虑 “修改 接口 配置 ” “修改 安全 区 配置 ”对 “将 接口 加 入 
到 安全 区 域 ” 的 影响 。 


大 家 不 妨 按 照 上 述 的 思路 ， 试 着 扩展 一 下 “在 安全 区 域 之 间 配 置 包 过 滤 策 略 ” 这 个 
操作 需要 考虑 的 测试 点 。 


多 运行 相互 作用 法 是 指 在 功能 测试 时 把 多 个 存在 相互 关系 的 运行 组 合 在 一 起 进行 测 
试 的 方法 ， 如 图 4-21 所 示 。 





图 4-21 多 运行 相互 作用 法 


还 是 以 测试 “用 户 收 到 一 封 电 子 邮 件 ” 和 “用 户 友 送 一 封 电 子 邮 件 ” 这 两 个 功能 大 
例 ， 来 启明 多 运行 相互 作用 法 的 使 用 方法 。 


和 多 运行 顺序 执行 法 强调 多 个 运行 之 间 的 顺序 性 不 同 ， 多 运行 相互 作用 法 强调 的 是 
多 个 运行 之 间 的 关系 性 ， 这 个 关系 可 以 是 外 在 关系 ， 如 某 个 业务 的 顺利 进行 需要 多 
个 运行 之 间 相 互 协作 ; 也 可 以 是 内 在 关系 ， 如 这 些 运行 会 用 相同 的 资源 ( 如 内 存 或 
其 他 硬件 资源 ) 。 


接 下 来 我 们 来 分 析 一 下 “用 户 收 到 一 封 电子 邮件 ”和 “用 户 发 送 一 封 电子 邮件 ”这 
两 个 运行 之 间 是 否 存在 一 定 的 关系 性 呢 ? 容易 想到 ， 是 存在 这 样 的 场景 的 ， 例 如 : 


用 户 正在 上 友 送 电子 邮件 的 时 候 ， 又 接收 到 一 封 电子 邮件 ， 即 用 户 同 时 在 进行 收 上 友 电 
子 邮 件 的 操作 。 


我 们 前 面 提 人 到 的 “正在 打 电 话 的 时 候 ， 又 接收 到 了 一 条 短 消息 ”， 也 是 多 运行 相互 
作用 法 的 例子 。 


需要 特别 指出 的 是 ， 不 知道 大 家 有 没有 注意 到 ， 我 们 这 里 的 操作 ， 都 是 “针对 一 个 
用 户 ” 的 操作 场景 ， 而 不 是 “两 个 不 同 的 用 户 同 时 友 送 邮件 ”或 是 “一 个 用 户 友 送 
邮件 ， 一 个 用 户 接收 邮件 ”这 样 的 场景 。 事 实 上 ， 前 者 属于 功能 测试 的 学 畴 ， 而 后 


者 属于 可 靠 性 测试 的 区 畴 ， 我 们 接 下 来 融会 详细 讨论 与 可 靠 性 测试 相 天 的 方法 。 
4.3.3 可 靠 性 测试 方法 


可 靠 性 测试 测试 的 是 产品 在 各 种 条 件 下 维持 规定 的 性 能 级 别 的 能 力 。 需 要 特别 指出 
的 是 ， 可靠 性 测试 能 够 顺利 进行 ， 是 有 一 定 的 前 提 的 一 一 基本 功能 要 先 正确 才 行 。 
这 就 为 我 们 在 测试 策略 中 要 如 何 安 排 这 些 测试 方法 的 顺序 提出 了 要 求 ， 我 们 将 在 


6.6.3 节 中 进一步 讨论 这 些 内 容 。 


本 节 中 讨论 的 可 靠 性 测试 方法 ， 也 是 一 些 通用 的 测试 方法 ， 和 具体 业务 无 关 ， 包 
括 : 


:异常 值 输 入 法 。 

故障 植 入 法 。 

-稳定 性 测试 法 。 

-压力 测试 法 。 

恢复 测试 法 。 

接 下 来 我 们 就 来 分 别 进行 讨论 。 
1. 异 单 值 输入 法 


异 弟 值 输入 法 是 一 种 使 用 系统 不 允许 用 尸 输入 的 数值 ( 即 异 剃 值 ) 作为 测试 输入 的 
可 靠 性 测试 万 法 。 


例如 ， 对 用 户 发 送 电 子 邮 件 来 说 ， 收 件 人 地 址 在 正确 的 情况 下 会 使 用 @ 来 作为 邮箱 地 


址 和 用 户 名 的 分 割 符 ,如 wangxiaoming@123.com。 使 用 异 弟 值 输入 法 ， 我 们 可 以 


使 用 “#” 或 “% ”等 非 @ 符 号 来 作为 分 割 符 ， 如 wangxiaoming#123 .com。 


前 面 提 到 的 单 运行 边界 值 输入 法 中 边界 值 的 非法 输入 值 (如 [1，18] 中 ， 输 入 值 为 
6、11 ) ， 也 可 以 归 入 异常 值 输入 法 中 ， 本 书 将 这 种 测试 方法 归 入 功能 测试 法 中 。 


有 时 一 个 功能 会 要 求 输入 一 组 数值 或 者 多 个 参数 ， 对 这 个 功能 进行 不 寺 整 的 输入 测 
试 ， 也 属于 异常 值 输入 法 。 


例如 ， 一 个 功能 包括 IP 地 址 、 掩 码 、 模 式 选 择 和 是 否 启用 4 个 参数 ( 图 4-22 ) ， 其 
中 IP 地 址 由 4 个 6~255 的 数字 组 成 的 。 


我 们 从 以 下 两 个 方面 来 考虑 : 


.对 输入 为 一 组 数值 的 情况 ， 不 按照 要 求 输 入 所 有 的 数字 。 例 如 ， 输 入 IP 地 址 时 只 输 
入 3 个 数字 ， 如 图 4-23 所 示 。 


对 输入 为 多 个 参数 的 情况 ， 不 输入 必 选 的 参数 。 例 如 ， 上 例 中 我 们 不 选择 “模式 选 
择 ”， 如 图 4-24 所 示 。 


太 好 址 :J.J1..._W 撞 码 ; 
模式 选择 《 必 选 ) 
口 安全 模式 
[DD 通用 模式 
口 精简 模式 








图 4-22 功能 的 4 个 参数 


lIPitb 址 ; 1 .1.1._/ 掩 码 : 24 


图 4-23 输入 3 个 数字 


IP 地 址 :1.1.1.1 / 掩 码 : 24 
模式 选择 ( 必 选 ) 
口 安全 模式 
口 通用 模式 
口 精简 模式 


未 进行 选择 








是 否 站 用 《可 选 ) 
因 是 口 寺 


图 4-24 不 选择 “模式 选择 " 


异 弟 值 输入 法 可 以 测试 到 系统 的 容错 性 ， 能够 测试 到 系统 处 理 各 种 错误 输入 的 能 
力 ， 是 最 基本 的 可 靠 性 测试 方法 。 


2 .故障 植 入 法 


故障 植 入 法 是 把 系统 放 在 有 问题 的 环境 中 进行 测试 的 一 种 可 靠 性 测试 法 ， 主 要 能 够 
测试 到 的 质量 属性 是 容错 性 和 成 熟 性 。 


和 异常 值 输入 法 不 同 ， 异常 值 输入 法 是 直接 输入 一 个 系统 认为 是 错误 的 、 不 支持 的 
值 ; 而 故障 植 入 法 是 把 系统 放 在 有 问题 的 环境 中 ， 但 是 输入 依然 是 正常 值 。 


我 们 可 以 从 以 下 几 个 方面 来 分 析 ， 进 行 故障 植 入 。 


( 1 ) 用 户 的 业务 环境 中 ， 会 有 哪些 故障 、 错 误 或 问题 ? 列 出 这 些 场景 ， 把 系统 放 到 
这 些 场景 中 ， 运 行 正常 的 业务 ， 分 析 此 时 系统 的 反应 是 否 合理 


还 是 以 “用 户 友 送 电子 邮件 ”为 例 。 网 络 故 障 对 用 户 来 说 是 一 个 单 见 的 故障 ， 如 上 断 
网 络 时 断 时 续 、 存 在 丢 包 。 

在 断 网 的 情况 下 ， 用户 友 送 邮件 会 友 送 失败 ， 系 统 应 该 有 友 送 失败 的 提示 ， 并 在 网 

络 恢复 的 情况 下 能 够 目 动 重新 友 送 邮件 。 


在 网 络 时 断 时 续 、 人 存在 丢 包 的 情况 下 ， 如 果 丢 包 不 严重 ( 比如 < 15% ) ， 系 统 能 够 通 
过 “ 重 传 ”的 方式 保证 邮件 发 送 成 功 ; 如 果 丢 包 严 重 ( 比如 > 15% ) ， 用 户 友 人 送 邮件 
会 失败 ， 系 统 应 该 有 发送 失败 的 提示 ， 并 在 网 络 恢复 的 情况 下 能 够 自动 重新 友 送 邮 
件 。 


( 2 ) 如 果 系 统 被 部 署 在 用 尸 的 硬件 环境 中 ， 考 虑 系统 所 需要 的 硬件 资源 ， 如 CPU、 
内 存 、 人 存储 空间 等 ， 在 出 现 不 足 的 情况 下 ， 系 统 的 反应 是 否 合理 


( 3 ) 如 果 系 统 被 安 六 在 用 尸 的 系统 中 ， 考 虑 系统 在 软件 冲突 、 驱 动 不 正 确 等 情况 
, 系统 的 反应 是 否 合理 


(4 ) 如 果 系 统 是 一 个 独立 的 设备 ， 考 虑 它 的 天 键 器 件 ( 如 机 框 、 单 板 、 插 卡 、 硬 
盘 、 心 月 等 ) 出 现 问题 时 ， 系 统 的 反应 是 否 合理 


3 .稳定 性 测试 法 


稳定 性 测试 法 是 在 一 段 时 间 里 ， 长 时 间 大 容量 运行 某 种 业务 的 一 种 可 靠 性 测试 法 ， 
尼 能 够 非常 有 效 地 测试 到 系统 的 “成 熟 性 ”， 是 非常 重要 的 一 种 可 靠 性 测试 法 。 


需要 特别 指出 的 是 ， 稳 定性 测试 法 、 压 力 测试 法 和 性 能 测试 法 是 存在 一 定 关系 的 ， 


这 个 关系 纽带 就 是 产品 规格 。 
定义 : 
产品 规格 : 产品 承诺 的 能 够 处 理 的 最 大 容量 或 能 力 。 


例如 ， 系 统 最 多 广 持 166 个 用 户 并 上 友 登 录 、 系 统 最 多 文 持 建立 188 条 安全 策略 都 是 产 


品 规格 。 


性 能 测试 的 目的 束 是 测试 产品 真实 规格 是 否 和 说 明 书 中 承诺 的 需求 规格 一 改 。 显 
然 ， 最 后 我 们 实测 出 来 的 性 能 值 ， 残 是 系统 真正 能 够 处 理 的 最 大 容量 或 者 能 力 。 


稳定 性 测试 是 在 低 于 性 能 值 的 前 提 下 测试 的 。 事 实 上 ， 用 户 在 使 用 系统 时 ， 也 不 会 
时 时 刻 刻 让 系统 在 极限 的 状态 运行 ， 在 测试 时 ， 我 们 可 以 控制 测试 中 的 负载 量 ，, 使 
其 和 用 户 的 实际 使 用 情况 尽量 接近 ， 使 得 测试 能 够 更 为 准确 ， 更 有 价值 。 


压力 测试 是 在 高 于 性 能 值 的 前 提 下 进行 测试 的 。 虽 然 测试 时 负载 超过 了 系统 能 够 处 
理 的 最 大 能 力 ， 但 并 不 等 于 在 这 种 情况 下 系统 的 功能 都 会 失效 ， 我 们 需要 根据 实际 
情况 来 分 析 系 统 的 表现 是 否 合理 。 例 如 ， 系统 最 多 支持 166 个 用 户 并 发 登录 ， 但 此 时 
有 116 个 用 户 同时 发 起 了 登录 的 操作 ， 那么 系统 应 该 保证 这 116 个 用 户 中 有 16e 个 用 
户 能 够 正常 登录 ,有 16 个 用 户 不 能 登录 才 合 理 ， 而 不 是 所 有 用 户 都 不 能 登录 。 


现在 让 我 们 再 回 到 本 节 的 主题 一 一 稳定 性 测试 上 ( 性 能 测试 法 、 压 力 测试 法 将 在 后 
文中 陆续 为 大 家 介绍 ) 。 从 方法 的 角度 来 说 ， 稳 定性 测试 法 是 所 有 测试 方法 中 最 为 
有 趣 的 ， 可 以 总 结 为 一 个 “四 字 诀 ”一 一 多 、 并 、 复 、 异 。 





第 - 诀 : “多 " 。 


多 字 诀 ”的 要 义 是 ， 在 测试 中 通过 增加 用 户 对 功能 的 操作 数量 ， 来 测试 系统 的 稳 


定性 。 


还 是 以 “用 尸 友 送 电子 邮件 ”为 例 。 使 用 “多 字 诀 ”， 我 们 可 以 测试 用 户 友 送 586 封 
邮件 或 上 友 送 1686 封 邮件 下 的 稳定 性 。 


第 二 诀 : “并 ”。 

“并 字 诀 ” 的 要 勾 是 ， 在 测试 中 让 多 个 用 户 同 时 来 操作 这 个 功能 ， 由 此 来 测试 系统 
是 否 依然 稳定 。 有 时 我 们 也 称 这 个 测试 为 并 发 测试 。 

以 “用 户 发 送 电子 邮件 ”为 例 ， 在 “并 字 诀 ”下 ， 我 们 可 以 测试 568@ 个 用 户 同时 向 服 
务 器 发 送 电 子 邮件 ( 假设 系统 支持 的 最 大 并 发 用 户 数 低 于 566 ) 时 的 稳定 性 。 

第 三 诀 : “ 复 ” 。 


“ 复 字 决 ” 的 要 勾 是 ， 在 测试 中 让 一 个 或 多 个 用 户 ， 反 复 进 行 新 建 、 刷 新 、 删 除 、 
同步 、 备 份 之 类 的 操作 ， 以 此 来 测试 系统 是 否 稳定 。 使 用 “ 复 字 诀 ” 能 够 快速 有 效 
地 发现 系统 在 资源 申请 、 释 放 上 是 否 存 在 问题 ， 是 非常 重要 的 稳定 性 测试 方法 。 


以 “用 户 友 送 电子 邮件 ”为 例 ， 使 用 “ 复 字 决 ”， 我 们 可 以 在 一 段 时 间 内 ( 如 1 天 、 
1 周 ) 反复 进行 5886 个 用 户 登 录 邮 箱 、 编 写 邮 件 、 友 送 邮 件 、 退 出 邮箱 操作 的 测试 ， 
观察 系统 是 否 依然 正音 稳定 。 


第 四 决 ， “ 噶 ' 。 


' 异 字 诀 ”的 要 义 是 ， 在 测试 中 让 一 个 或 者 多 个 用 尸 ， 反 复 进行 异常 操作 ， 验 证 系 
统 是 否 能 够 持续 做 出 合理 的 反应 。 


与 异 弟 输 入 法 和 故障 植 入 法 相 比 ，“ 异 字 记 ”强调 的 是 “持续 ”和 “ 昧 积 ”。 事 实 
上 ， 使 用 “ 异 字 诀 ”来 测试 往往 还 比较 有 效 ， 这 是 因为 ， 开 发 在 编码 的 时 候 ， 容 易 
考虑 正确 情况 下 资源 的 申请 和 回收 ， 忽视 异常 情况 下 资源 的 回收 。 


还 是 以 “用 尸 友 送 电 子 邮 件 ” 为 例 ， 我 们 可 以 测试 用 尸 持 续 ( 如 1 天 、1 周 ) 友 送 收 
件 邮 件 地 址 是 非法 输入 值 的 邮件 、 用 户 长 时 间 ( 如 1 天 、1 周 ) 处 于 网 络 故 障 的 情况 
下 持续 友 送 邮件 等 情况 。 

实际 测试 时 ， 我 们 还 可 以 组 合 使 用 “多 、 并 、 复 、 异 ”这 四 种 稳定 性 测试 法 ， 让 测 
试 更 为 灵活 、 更 为 有 效 。 

4. 压 力 测试 法 

压力 测试 法 是 在 一 段 时 间 内 持续 使 用 超过 系统 规格 的 负载 进行 测试 的 一 种 可 靠 性 测 
试 方法 。 

尽管 产品 已 经 声明 了 规格 ， 只 承诺 在 规格 学 围 内 才能 提供 稳定 可 靠 的 功能 ， 不 承诺 
在 超过 系统 规格 的 情况 下 还 能 提供 正确 的 功能 ， 但 压力 测试 仍然 是 有 意义 的 。 一 个 


重要 的 原因 是 ， 业 务 的 突 友 现象 一 用 户 的 业务 负载 并 不 是 平均 的 ， 可 能 人 在 极 短 的 
时 间 里 ， 出 现 超过 负载 的 情况 ， 但 是 平均 下 来 ， 却 没有 超过 规格 ， 如 图 4-25 所 示 。 





图 4-25 业务 的 突 发 现象 


我 们 希望 系统 在 突 友 的 情况 下 不 会 像 纸 牌 屋 那 样 脆弱 ， 而 是 有 切实 的 应 对 措施 ， 如 
不 处 理 超 过 系统 规格 的 负载 、 记 录 日 志 供 用 尸 分 析 突 友 原 因 等 。 不 会 因为 突 友 情况 
导致 死机 、 反 复 重 局 等 致命 问题 ， 这 才 是 我 们 进行 压力 测试 的 真正 目的 。 


为 了 达到 这 个 测试 目标 ， 我 们 在 进行 压力 测试 时 ， 需 要 使 用 突 友 形态 的 负载 模型 ， 
如 图 4-26 所 示 ， 而 不 是 如 图 4-27 所 示 的 持续 超过 规格 的 负载 量 。 





图 4-26 突 发 形态 的 负载 模型 





图 4-27 持续 超过 规格 的 负载 量 


需要 特别 指出 的 是 ， 在 使 用 突 友 形态 的 负载 进行 压力 测试 时 ， 我 们 希望 系统 的 运行 
状况 是 正常 的 ， 能 够 保证 规格 值 之 内 的 业务 都 能 被 正确 处 理 。 而 使 用 持续 超过 规格 
的 负载 进行 测试 时 ， 系 统 可 能 无 法 保证 所 有 在 规格 值 之 内 的 业务 都 能 被 正确 处 理 ， 

甚至 还 有 可 能 被 “ 打 死 ”。 但 是 此 时 即便 系统 真 被“ 打 死 ， 也 不 能 说 明 这 束 是 产 
品 的 缺陷 一 一 只 要 我 们 测试 负载 超出 规格 足够 多 ， 系统 就 一 定 会 被 “ 打 死 ， 因 此 
我 并 不 建议 用 持续 超过 系统 规格 负载 这 样 的 测试 方法 来 挖掘 产品 的 问题 。 但 是 对 测 
试 来 说 ， 使 用 持续 超过 规格 的 负载 模型 测试 也 并 不 是 完全 没有 意义 ， 它 是 我 们 另外 
一 种 可 靠 性 测试 法 一 一 恢复 测试 法 的 组 成 部 分 ， 我 们 将 在 下 一 节 为 大 家 详细 御 述 。 








最 后 我 们 还 是 以 “用 户 友 送 电子 邮件 ”为 例 ， 来 进 解 如 何 使 用 压力 测试 法 进行 测 
试 。 

假设 系统 最 多 能 够 支持 10686 个 用 己 同 时 友 送 电子 邮件 ， 参 考 突 友 形 态 的 负载 模型 ， 
我 们 可 以 设置 如 图 4-28 所 示 的 负载 来 进行 压力 测试 ( 图 中 的 数值 仅 为 举例 ) 。 
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图 4-28 进行 压力 测试 的 负载 举例 

即 以 每 5 分 钟 为 一 个 周期 ， 在 一 个 周期 里 ， 前 4 分 钟 为 468 个 用 户 同时 发 送 电 子 邮 件 ， 
后 1 分 钟 为 1166 个 用 户 同 时 发 送 电 子 邮 件 ， 持 续 测试 1 天 ( 图 中 只 画 出 了 前 36 分 钟 的 
负载 示意 ) 。 

5 .恢复 测试 法 

恢复 测试 法 是 指使 用 持续 超过 规格 的 负载 进行 了 测试 后 ， 再 将 负载 降 到 规格 以 内 的 
测试 方法 ， 如 图 4-29 所 示 。 


恢复 测试 法 还 有 个 “加 强 版 ”， 即 周期 性 地 执行 上 面 的 负载 ， 如 图 4- 36 所 示 。 
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图 4-29 恢复 测试 法 
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图 4- 38 恢复 测试 法 加 强 版 


无 论 是 普通 版 ， 还 是 


加 强 版 ， 我 们 在 使 用 恢复 测试 法 进行 测试 时 ， 预 期 结果 均 为 : 


-持续 进行 超过 规格 的 负载 测试 时 ， 人 允许 规格 内 的 业务 不 是 166% 正 确 。 如 果 产 品 在 可 
靠 性 方面 的 要 求 不 高 ， 甚 至 允许 系统 出 现 死机 、 重 启 等 情况 。 


` 当 负载 降 到 规格 值 之 内 后 ， 业 务必 须 能 够 恢复 到 166% 的 正确 。 换 句 话说 ， 产 品 在 负 
高 的 情况 下 出 现 的 死机 、 重 启 等 问题 ， 在 负载 降低 后 能 够 “ 目 印 ”.。 


可 见 ， 恢 复 测试 法 能 够 对 系统 的 可 恢复 性 进行 测试 。 


为 了 加 深 大 家 对 压力 测试 法 和 恢复 测试 法 的 理解 ， 我 们 不 妨 来 对 比 一 下 两 个 模型 在 
不 同 负载 下 对 “业务 ”结果 的 期 望 ， 如 图 4-31 所 示 。 
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图 4-31 对 业务 结果 的 期 望 


可 见 ， 两 个 测试 方法 最 大 的 差别 ， 在 于 图 中 “黑色 ”的 部 分 。 在 使 用 突 友 负载 模式 
进行 压力 测试 时 ， 图 中 的 黑色 部 分 是 不 允许 出 现 业 务 失败 的 ， 而 使 用 持续 负载 模式 
进行 恢复 测试 时 ， 黑 色 部 分 允许 出 现 业务 失败 。 


最 后 我 们 还 是 以 “用 户 友 送 电子 邮件 ”为 例 ， 来 进 解 如 何 使 用 恢复 测试 法 进行 测 
试 。 


假设 系统 最 多 能 够 广 持 1866 个 用 户 同 时 友 送 电子 邮件 ， 我 们 可 以 设置 如 图 4-32 所 示 
的 负载 来 进行 恢复 测试 ( 图 中 的 数值 仪 为 举例 ) 。 
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图 4-32 恢复 测试 举例 


即 以 每 66 分 钟 为 一 个 周期 ， 在 一 个 周期 里 ， 前 36 分 钟 为 14686 个 用 户 同 时 友 送 电子 邮 
件 ， 后 38 分 钟 为 668 个 用 户 同时 友 送 电子 邮件 ， 持 续 测 试 1 天 ( 图 中 只 画 出 了 前 98 分 
钟 的 负载 示意 ) 。 


4.3.4 性 能 测试 方法 


前 面 我 们 已 经 讲 到 ， 性 能 测试 的 目的 是 测试 产品 真实 规格 是 否 和 说 明 书 中 承诺 的 需 
求 规格 一 致 ， 我 们 实测 出 来 的 性 能 值 ， 融 是 系统 真正 能 够 处 理 的 最 大 容量 或 者 能 
力 。 


一 般 来 况 ， 产 品 的 需求 规格 会 给 出 性 能 期 望 值 ， 测 试 者 只 需要 确认 产品 能 否 达到 规 
格 即 可 。 从 这 个 角度 来 说 ， 需 求 规格 中 对 性 能 部 分 的 定义 和 要 求 ， 会 直接 影响 性 能 
测试 的 范围 ， 影 响 性 能 测试 的 深度 和 广度 : 假如 需求 规格 中 对 产品 性 能 规格 定义 得 


测试 中 ， 我 们 除了 确认 性 能 规格 是 否 满足 外 ， 还 希望 能 够 皮 现 产品 的 性 能 “ 手 
颈 ”， 并 评估 产品 在 用 户 使 用 环境 中 的 性 能 表现 。 测 试 流程 如 图 4-33 所 示 。 


测试 出 系统 最 好 的 性 能 值 


分 析 会 影 啊 性 能 的 因素， 


测试 它 对 性 能 的 影 啊 ( 包 
括 最 坏 的 情况 ) 


以 场景 为 单位 ， 测 试 每 个 
场景 下 的 性 能 





图 4-33 测试 流程 


1. 测 试 出 系统 最 好 的 性 能 值 


在 进行 性 能 测试 时 ， 我们 可 以 先 试 着 测试 出 系统 最 好 的 性 能 值 。 我 们 可 以 以 性 能 规 
格 中 要 求 的 性 能 值 作为 测试 的 项 目 ， 测 试 出 这 些 指 标 在 系统 中 的 极限 。 


不 同 产 品 的 性 能 规格 可 能 会 干 差 万 别 ， 但 总 的 来 说 ， 却 可 以 分 为 以 下 两 类 。 
1 ) 系统 能 够 正确 处 理 新 业务 的 最 大 能 力 


系统 能 够 正确 处 理 新 业务 的 最 大 能 力 ， 我 们 也 称 为 “新 建 ”。 例 如 ， 系 统 每 秒 能 够 
允许 多 少 新 用 户 上 线 登 录 、 系 统 每 秒 能 够 主动 友 起 多 少 新 的 连接 等 。 


针对 系统 的 新 建 能 力 进行 性 能 测试 ， 测 试 的 是 系统 为 一 个 新 业务 从 分 配 资 源 到 完成 
处 理 流程 的 速度 。 业 务 处 理 流程 和 资源 的 总 量 都 会 影响 系统 的 新 建 能 力 。 需 要 注意 
的 是 ， 系 统 不 能 只 “ 建 ” 不 “ 拆 ” : 已 经 完成 或 异常 的 业务 需要 被 及 时 拆除 ， 占 用 
的 资源 要 能 够 被 回收 ， 用 于 新 的 业务 。 


系统 拆除 业务 的 速度 应 该 高 于 新 建 业务 的 速度 ， 至 少 要 能 够 持平 。 如 果 系 统 拆除 业 
务 的 速度 过 慢 ， 久 而 久之 ， 能 够 用 于 新 建 业务 的 资源 束 会 减少 ， 系统 新 建 业务 的 能 
力 融会 下 降 ， 达 不 到 规格 的 要 求 。 所 以 对 “新 建 ”而 言 ，“ 拆 除 ” 也 是 重要 的 测试 
项 目 之 一 。 


2 ) 系统 能 够 同时 正确 处 理 的 最 大 业务 能 力 


系统 能 够 同时 正确 处 理 的 最 大 业务 能 力 ， 我 们 也 称 为 “并 上 及 ”。 例 如 ， 系 统 能 够 广 
持 的 最 大 用 户 同 时 在 线 数 、 系 统 能 够 同时 发 起 的 最 大 连接 数 等 。 


和 用 户 体 验 相关 的 一 毕 指标 ， 如 响应 时 间 ， 可 以 作为 “新 建 ” 和 “并 上 友 ” 测 试 时 的 
全 可 后 。 


需要 特别 指出 的 是 ， “新 建 ” 和 “并 友 ” 之 间 是 存在 关系 的 。 图 4-34 中 ， 左 边 是 一 
个 “新 建 ” 的 测试 情况 ， 右 边 是 一 个 “并 发 ”的 测试 情况 。 





O 30 I 


图 4-34 新 建 和 并 友 测试 情况 


左边 这 幅 图 ， 表 示 系 统 在 36 秒 内 ， 每 秒 新 建 的 数目 都 是 156。 假 设 系统 在 36 秒 的 时 
间 内 ， 只 建立 了 业务 ， 而 没有 拆除 业务 ， 那 么 系统 在 36 秒 时 ， 并 友 的 数目 融 是 
156x36=4566。 


假如 此 时 系统 能 够 提供 的 最 大 并 发 能 力 是 4668， 按 照 这 样 的 负载 ， 测 试 到 第 27 秒 
时 ， 系统 就 会 因为 并 友 能 力 达到 极限 ， 而 出 现 新 建 失败 。 这 时 如 果 我 们 认为 系统 的 
新 建 能 力 不 能 达到 156 是 不 正确 的 。 我 们 可 以 调整 负载 ， 让 负载 建立 后 保持 一 小 会 儿 
束 拆 除 ， 而 不 是 一 直 不 拆 ， 丈 能 够 让 新 建 稳 定 维持 在 156。 


右边 这 幅 图 ， 表 示 系 统 在 前 15 秒 内 达到 的 并 发 值 为 156， 那 么 每 秒 的 新 建 为 
156/15=16。 在 后 面 15 秒 到 36 秒 中 ， 并 发 保持 在 1586， 如 果 系 统 此 时 没有 拆除 业务 ， 
新 建 就 为 6。 


假设 此 时 系统 能 够 提供 的 最 大 的 新 建 能 力 只 有 5， 业 务 负载 束 会 失败 ， 但 这 并 不 等 于 
系统 的 并 友 能 力 达 不 到 156。 我 们 只 需 把 前 面 15 秒 增加 为 38 秒 ， 融 能 达到 并 上 友 156 的 


水 平 了 。 


因此 ,我 们 在 测试 系统 最 好 的 性 能 值 时 ， 需 要 注意 测试 措 标 之 间 的 内 在 关系 ， 在 测 


试 一 个 指标 的 时 候 ， 别 的 指标 不 能 对 这 个 指标 造成 影响 。 
2 .分 析 会 影响 性 能 值 的 各 种 因素 ， 测 试 它 们 对 性 能 的 影响 


“配置 ”和 “业务 ”都 会 对 性 能 指标 产生 影响 。 试 想 一 下 ， 配置 了 1 条 用 户 策 略 和 本 
置 了 1666 条 用 户 策略 的 性 能 应 该 是 不 同 的 ; 系统 接收 1 字 节 大 小 的 邮件 和 接收 16M 大 
小 的 邮件 测试 出 来 的 性 能 值 也 是 不 同 的 。 在 这 个 步骤 中 ， 我 们 要 分 析出 系统 中 的 哪 
些 因 素 对 性 能 有 影响 ( 性 能 下 降 ) ， 然 后 进行 测试 ， 分 析 性 能 下 降 是 否 符合 预期 ， 
最 坏 的 情况 是 否 还 算 合 理 。 

以 “用 尸 友 送 邮 件 ” 为 例 ， 我 们 要 测试 的 性 能 指标 是 邮件 系统 每 秒 能 够 接收 并 正确 
处 理 的 最 大 邮件 数 ， 结 果 为 每 秒 3668 封 。 


接 下 来 我 们 分 析 哪 些 因素 会 影响 这 个 指标 。 假 设 分 析 结 果 是 接收 的 邮件 大 小 和 配置 
的 邮件 过 滤 策 略 都 会 影响 这 个 指标 。 


然后 我 们 殊 分 别 测试 接收 的 邮件 大 小 和 配置 的 邮件 过 渡 策略 会 如 何 影响 邮件 系统 每 
秒 能 够 接收 并 正确 处 理 的 最 大 邮件 数 。 


对 “接收 的 邮件 大 小 ”这 个 因素 ， 假 设 系 统 支 持 的 能 够 接收 的 邮件 大 小 范围 为 
1bit~16MB， 我 们 可 以 在 这 个 沁 围 中 选择 一 些 “ 样 本 上 后” ， 如 1bit、1KB、1MB、 
16MB， 然 后 分 别 测试 当 系 统 收 到 这 些 大 小 的 邮件 时 ， 能 够 正确 处 理 的 最 大 邮件 数 ， 
见 表 4-8 ( 数据 仅 为 举例 ) 。 


表 4-8 在 样本 点 能 够 正确 处 理 的 最 大 邮件 数 


二 人 大 人 


邮件 系统 每 秒 能 够 接收 并 正确 处 理 的 最 大 邮件 数 1000 





对 “配置 的 邮件 过 滤 ” 这 个 因素 ， 假 设 系统 支持 的 可 以 配置 的 邮件 过 渡 的 条 目 为 
1~16869 ， 我 们 如 法 炮制 ， 分 别 测试 在 1[、266、466、666、866、16866 条 过 滤 配 置 情 
况 下 ， 系统 能 够 正确 处 理 的 最 大 邮件 数 ， 见 表 4-9 ( 数据 仪 为 举例 ) 。 


表 4-9 在 不 同 过滤 策 略 下 能 够 正确 处 理 的 最 大 邮件 数 


、 、 200 条 过 滤 | 400 条 过 滤 | 600 条 过 滤 | 800 条 过 滤 | 1000 条 过 滤 
邮件 过 滤 条 目 1 条 过 滤 策 略 
策略 策略 策略 策略 策略 
邮件 系统 每 秒 能 够 接收 Ce Ee Ee i a 
并 正确 处 理 的 最 大 邮件 数 a a - 


通过 测试 这 些 性 能 值 ， 我 们 很 容易 得 到 | : 





-哪些 因素 对 系统 性 能 的 影响 大 ， 哪 些 因 素 对 系统 性 能 的 影响 不 大 。 例 如 ， 上 述 例子 
中 ，“ 接 收 的 邮件 大 小 ”这 个 因素 ， 束 比 “ 配 置 的 邮件 过 滤 策 略 ” 对 性 能 的 影响 
大 。 然 后 我 们 可 以 进一步 分 析 测 试 结论 是 否 合 理 。 


名 个 因素 对 性 能 的 影响 趋势 。 虽 然 我 们 测试 的 样本 是 有 限 的 ， 但 我 们 可 以 通过 数学 
中 的 “曲线 拟 合 ”技术 ， 得 到 因素 的 影响 曲线 ， 我 们 可 以 通过 曲线 来 分 析 这 个 下 降 
趋势 是 否 合理 。 反 过 来 ， 我 们 也 可 以 根据 拟 合 的 精度 ， 来 确定 需要 测试 的 样本 数 。 


在 各 个 因素 下 ， 性 能 的 最 坏 值 。 分 析 这 个 最 坏 值 是 否 合 理 ， 是 人 否 会 成 为 系统 的 性 
能 “ 手 项 ” 
很 多 时 候 ， 影响 一 个 性 能 指标 的 因素 并 不 是 单一 的 ， 而 可 能 会 有 多 个 。 例 如 上 例 束 


有 两 个 因素 。 在 实际 测试 中 ， 我 们 是 不 是 需要 测试 完 这 些 因素 所 有 的 组 合 情 况 呢 ? 
显然 ， 要 达到 这 样 的 目标 是 不 现实 的 。 我 的 建议 是 ， 在 这 个 步骤 中 仅 测 试 单个 因素 


对 性 能 的 影响 即 可 ， 多 个 因素 对 性 能 的 影响 可 以 放 在 典型 场景 中 ， 选 择 典 型 的 配置 
和 业务 来 进行 性 能 测试 ， 接 下 来 我 就 会 给 大 家 介绍 这 种 性 能 测试 。 


事实 上 ， 在 测试 出 单个 因素 对 性 能 的 影响 后 ， 我 们 也 可 以 通过 数学 方法 ， 建 立 出 多 
个 因素 的 性 能 测试 模型 。 通 过 模型 ， 我 们 可 以 友 现 一 些 性 能 “ 浇 贷 ”或 问题 ， 然 后 
再 针对 模型 中 分 析 的 问题 ， 进 行 实测 确认 ， 这 种 方式 能 够 显著 提高 性 能 测试 的 效率 
和 质量 ， 大 家 感 兴趣 的 话 不 妨 试 试 。 


3 .以 场景 为 单位 来 测试 性 能 


最 后 我 们 以 “场景 ”为 单位 ， 来 测试 这 个 场景 中 的 典型 配置 、 典 型 业务 下 的 性 能 
值 。 


以 “用 户 发 送 邮 件 ” 为 例 ， 假 设 在 这 个 场景 下 ， 典 型 的 配置 为 “266 条 过 滤 策 略 ” ， 
邮件 大 小 为 IKB、16KB、2MBL 人 1 : 2 : 1 混合 ， 性 能 测试 项 目 为 : 


在 286 条 过 渡 策 略 ，1KB、16KB 和 2MB 的 邮件 大 小 以 1 : 2 : 1 混合 的 情况 下 ， 邮 件 系统 
每 秒 能 够 接收 并 正确 处 理 的 最 大 邮件 数 。 


以 场景 为 单位 来 进行 性 能 测试 ， 能 够 很 好 地 评估 产品 在 用 户 使 用 环境 中 的 性 能 表 
现 ， 对 用 户 更 有 实际 意义 。 


4.3.5 易 用 性 测试 法 
易 用 性 测试 法 测试 的 是 用 户 在 理解 、 使 用 产品 时 产品 的 能 力 。 
在 产品 日 益 重视 易 用 性 的 今天 ， 易 用 性 测试 的 现状 却 不 容 乐 观 。 


很 多 人 都 认为 易 用 性 测试 并 不 是 有 严格 标准 的 测试 ， 而 是 市 有 很 强 的 主观 性 。 这 使 


得 开 上 友和 测试 在 问题 确认 上 常会 出 现 分 收 。 
很 多 人 会 认为 易 用 性 测试 友 现 的 问题 对 产品 质量 来 说 是 “ 锦 上 添 化 ”， 和 开 皮 新 功 
能 、 修 改 其 他 的 bug 相 比 优先 级 被 放 得 很 低 ， 得 不 到 应 有 的 重视 。 


可 见 ， 对 于 易 用 性 测试 来 说 ， 确 定 一 些 客观 的 测试 验收 标准 ， 保 证 必要 投入 ( 包括 
易 用 性 测试 的 投入 、 易 用 性 问题 修改 的 投入 ) 是 非常 必要 的 。 第 一 点 属于 “测试 方 


法 ”， 我 们 将 在 接 下 来 的 章节 中 为 大 家 叙述 ; 第 二 点 属于 “策略 ”的 范畴 ， 将 在 后 
续 继 续 讨论 。 


本 节 将 为 大 家 介绍 两 种 易 用 性 测试 方法 : 一 致 性 测试 法 和 可 用 性 测试 法 。 
1. 一 致 性 测试 法 


一 致 性 测试 法 的 测试 对 象 是 用 户 界面 ( user interface ,UI ) ， 如 web 页面 、 命 令 
行 等 用 户 和 产品 直接 进行 交互 的 地 方 。 


一 致 性 测试 法 在 测试 中 关注 的 是 产品 的 用 户 界 面 : 
风格、 布局 、 元 素 上 是 否 一 致 、 统 一 。 
布局 的 合理 性 、 操 作 的 合理 性 、 提 示 等 是 否 符 合 UI 设 计 规 范 。 


一 致 性 测试 法 能 够 测试 到 产品 在 易 理解 和 易 用 性 依从 性 方面 的 能 力 ， 但 它 并 不 关心 
产品 功能 是 人 否 正 确 ， 所 以 可 以 直接 对 产品 的 UI 设计 原型 进行 测试 ， 而 无 须 等 待 功能 
全 面 集成 后 再 进行 。 


一 致 性 测试 法 是 一 种 “确认 ”性 质 的 测试 ， 目 的 是 “证 实 ”“， 具 体 方法 是 : 


:进入 一 个 用 尸 页 面 ， 确 认 这 个 页 面 是 否 和 产品 整体 的 风格 相符 。 如 页 面 的 色彩 、 文 


字 大 小 、 字 体 等 。 
-确认 页 面 的 “图 标 ” 是 否 来 自 产品 的 “图 标 库 ”， 风 格 是 否 统一 。 


-确认 页 面 的 “元 素 ” 是 否 符合 产品 的 UI 设计 规范 ， 是否 统一 。 例 如 ， 规范 中 要 求 多 
选 输入 使 用 “oO” ， 单 选 输入 使 用 “co”。 如 果 友 现 产 品 在 多 选中 使 用 了 “o”， 束 
属于 不 符合 产品 的 UI 设计 规范 。 


确认 “页 面 布 局 ”是 否 符合 设计 规范 。 例 如 ， 规范 中 要 求 分 级 组 织 时 不 能 超过 3 级 ， 
如 果 友 现 产 品 在 分 级 组 织 时 超过 了 3 级 ， 融 属于 不 符合 设计 规 泄 。 


-确认 页 面 在 “操作 合理 性 ”上 是 否 符合 设计 规范 。 例 如 ， 规范 中 要 求 查询 时 ， 如果 
结果 多 于 26 条 ， 提 供 分 页 显示 功能 ， 我 们 残 需要 确认 产品 在 查询 结果 超过 26 条 时 ， 
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古人 台 分 页 显示 ”的 。 


-确认 页 面 在 “提示 ”方面 ， 如 确认 输入 、 错 误 提 示 等 ， 在 大 小 、 格 式 、 图 标 上 是 否 
符合 规范。 例如， 规范 要 求 确认 类 的 提示 框 会 新 建 一 个 窗口 ， 窗 口 大 小 为 36x908 ， 
内 容 以 一 个 “感叹 号 ”图 标 开 头 ， 然 后 罕 跟 文字 ， 测试 时 我 们 束 需 要 确认 产品 的 这 
类 提示 框 是 否 符合 这 个 规范 要 求 。 

.重复 上 述 步 又， 电 历 所 有 的 页 面 。 

实际 操作 时 ， 设 计 规 范 可 能 很 多 ， 测试 人 员 很 难 一 下 熟悉 所 有 的 规范 。 这 时 ， 比 较 
有 效 的 方式 是 “ 抽 测 ”其 中 的 一 部 分 。 抽 测 的 范围 可 以 是 随机 ， 也 可 以 根据 缺陷 分 


析 来 确定 。 测 试 时 可 以 对 需要 测试 的 设计 规范 制定 简明 的 checklist ( 清查 表 ) ， 
让 测试 人 员 可 以 基于 对 设计 规范 的 理解 来 进行 测试 ， 而 不 是 机 械 地 进行 比 对 。 如 果 


抽 测 发 现 的 问题 很 


多 ， 最 好 的 办 法 不 是 加 大 测试 量 ， 而 是 反馈 给 UI 的 设计 者 和 实现 
者 ， 请 他 们 进行 改进 。 


2. 可 用 性 测试 法 


可 用 性 测试 法 的 测试 对 象 也 是 用 户 界 面 ， 但 在 可 用 性 测试 中 ， 我 们 关注 的 是 产品 提 
供 的 功能 ， 对 用 户 来 说 是 否 易 于 学 习 理 解 、 易 于 使 用 ， 所 以 可 用 性 测试 需要 和 功能 
测试 结合 起 来 ， 以 场景 作为 测试 粒度 ， 以 用 户 的 视角 进行 测试 。 


谁 比较 适合 进行 可 用 性 测试 ? 


我 认为 ， 适 合 进行 可 用 性 测试 的 人 选 ， 排 序 是 专职 验收 测试 者 = 需求 工程 师 > 售 前 / 
售后 工程 师 > 功能 测试 人 员 。 即 可 用 性 测试 最 佳 的 人 选 是 又 懂 用 尸 又 懂 测 试 的 人 ， 
如 果 能 力 不 能 兼 具 ， 懂 用 户 、 会 使 用 的 人 更 适合 。 不 过 在 实际 项 目 中 ， 我 们 往往 没 
有 选择 ， 进 行 可 用 性 测试 的 人 往往 还 是 功能 测试 人 员 。 由 本 功能 的 功能 测试 人 员 来 
进行 可 用 性 测试 ， 最 大 的 问题 就 是 操作 上 的 “审美 疲劳 ”一 一 一 个 设计 得 再 不 合理 
的 UI， 作 为 它 的 功能 测试 者 ， 早 束 “ 被 习惯 ”了 。 所 以 更 好 的 方式 是 在 测试 团队 中 
作 “ 交 叉 测 试 ”， 即 你 测 我 的 、 我 测 你 的 。 最 不 合适 的 测试 者 是 “新 员工 。， 因 为 
相对 来 说 ， 他 们 可 能 既 不 熟悉 当前 的 用 尸 ， 又 不 熟悉 测试 。 


接 下 来 我 们 以 功能 测试 人 员 的 交叉 测试 这 种 方式 为 例 ， 来 叙述 可 用 性 测试 的 操作 方 
法 。 


第 一 步 ， 由 本 功能 的 测试 责任 人 ， 设 计 可 靠 性 测试 场景 。 参 考 产品 的 典型 场景 是 一 
条 快速 有 效 的 途径 。 


第 二 步 ， 根 据 场景 ， 由 本 功能 的 测试 责任 人 来 负责 确定 可 用 性 测试 关注 点 和 标准 。 


有 些 标准 可 能 会 在 需求 规格 中 写 出 了 “， 有 些 标准 可 能 需要 根据 场景 来 确定 。 无 论 标 
准 的 来 源 是 什么 ， 都 需要 在 开发 、 测 试 和 需求 工程 师 中 达成 共识 。 表 4-16 是 一 个 示 
例 : 


表 4-16 可 用 性 测试 的 关注 点 和 标准 
号 标准 


测试 者 完成 这 个 场景 所 有 的 配置 ， 并 确认 成 功 需要 
花费 的 时 间 
测试 者 完 成 这 个 场景 ， 一 共 配 置 了 多 少 个 步骤 不 能 超过 10 个 步骤 
测试 者 完成 这 个 场景 ,一 共 跳 转 了 多 少 个 配置 页 
面 ， 或 者 视图 


村 


二 30 分 钟 


不 能 超过 5 个 页 面 (或 10 个 视图 ) 

求助 不 超过 5 次 

产品 提供 的 资料 能 够 解决 用 户 针对 这 个 场景 配置 的 
所 有 问题 


测试 者 完成 这 个 场景 ， 一共 求助 了 几 次 ?能 否 很 容 
易 地 通过 产品 提供 的 资料 解决 问题 





需要 特别 说明 的 是 ， 上 述 包含 了 用 户 正确 的 操作 和 错误 的 操作 。 例 如 ， 用 户 人 在 配置 
这 个 场景 时 ， 有 5 个 步骤 是 错误 的 、 无 效 的 步 又， 有 6 个 步骤 是 正确 的 、 有 效 的 步 


又 ， 这 时 用 户 完 成 这 个 场景 的 总 步骤 融 是 11 个 步 又， 而 不 是 6 个 步骤 。 


第 三 步 ， 由 非 本 功能 的 测试 责任 人 ( 也 融 是 交叉 测试 者 ) 来 执行 这 个 测试 环境 ， 并 
按照 表 4-16 中 的 内 容 记 录 实 际 的 测试 情况 ， 包 括 测试 中 求助 的 问题 。 


第 四 步 ， 本 功能 测试 责任 人 和 交叉 测试 者 一 起 对 测试 结果 进行 分 析 ， 确 认 是 否 存 在 
可 用 性 方面 的 问题 。 确 认 时 ， 我 们 可 以 对 比 友 商 产品 ( 尤其 是 在 易 用 性 方面 设计 比 
较 佳 的 友 商 ) 在 相同 场景 下 的 表现 ， 作 为 评判 参考 和 改进 意见 。 例 如 ， 可 以 参考 
xx ( 友 商 ) 的 设计 ， 通 过 xxx 的 组 织 方 式 ， 减 少 xx 功 能 的 配置 步骤 ,需要 去 挥 功 
能 配置 中 的 两 处 无 效 操作 。 无 疑 ， 这 样 做 ， 能 够 让 我 们 提交 的 缺陷 报告 更 具有 说 服 
力 和 参考 价值 ， 利 于 开 友 接受 并 修改 问题 。 测 试 者 在 测试 中 求助 的 问题 ， 也 可 以 作 
为 产品 资料 的 输入 参考 。 


4.4 测试 设计 技术 


前 面 我 们 已 经 讨论 了 测试 类 型 和 测试 方法 。 
行 分 析 ， 就 能 知道 我 们 需要 从 哪些 方面 来 进 


我 们 按照 “和 车轮 图 ”逐一 对 被 测 对 象 进 


井 行 测试 1 得 至 1 测试 点 。 


在 上 一 节 中 ， 我 们 曾 使 用 “ 王 轮 图 ”分 析 了 “用 户 友 送 电子 邮件 ”的 测试 点 ， 我 们 


表 4-11 “用 户 发 送 电子 邮件 ”的 测试 点 


测试 点 

1 用 户 使 用 正常 的 输入 数据 来 发 送 电子 邮件 

2 用 户 使 用 边界 值 来 发 送 电 子 邮件 

3 用 户 收 到 一 封 电子 邮件 后 ， 

4 用 户 正 在 发 送 电子 邮件 的 过 程 中 ， 

5 用 户 使 用 异常 的 输入 数据 来 发 送 电子 邮件 

6 在 存在 网 络 故 障 的 情况 下 发 送 电子 邮件 

7 一 个 用 户 持续 发 送 1000 封 电 子 邮件 

8 500 个 用 户 同 时 发 送 电 子 邮 件 (稳定 性 测试 ) 

9 500 个 用 户 反 复 进行 登录 邮箱 、 编 写 邮 件 、 

10 用 户 持续 (如 1 天 、1 周 ) 

11 用 户 在 长 时 间 (如 1 天 、1 周 ) 处 于 网 乡 

12 1000 个 用 户 发 送 ee, (性 能 规格 测试 ) 

光 以 每 5 分 钟 为 一 个 周期 ， 个 周期 里 ， 
个 用 户 同时 发 送 电 子 邮 件 ， 0 

i 以 每 60 分 钟 为 一 个 周期 ， 在 一 个 周期 里 ， 


600 个 用 户 同时 发 送 电 子 邮 件 ， 持 续 测试 1 天 


在 软件 测试 中 还 有 个 “测试 用 例 ” 的 概念 。 
在 某 种 输入 条 件 下 ， 应 该 输出 怎样 的 预期 。 
户 友 人 送 电子 邮件 ”的 测试 用 例 ， 会 直接 拿 


应 该 这 样 吗 ? 


发 送 邮 件 、 
发 送 收 件 邮件 地 址 是 非法 输入 值 的 邮件 
故障 的 情况 下 ， 持 续 发 送 邮 件 


前 4 分钟 为 400 个 


前 30 分 钟 为 1400 个 用 户 同 时 发 送 电子 邮件 ， 


这 张 表 来 进 


测试 点 描述 


骨 接 着 发 送 这 封 收 到 的 电子 邮件 
同时 又 接收 到 了 电子 邮件 


退出 邮箱 操作 的 测试 
用 户 同 时 发 送 电子 邮件 ， 后 1 分 钟 为 1100 


后 30 分 钟 为 


测试 用 例 是 一 份 测试 说 明 书 ， 说 明 产 品 
很 多 时 候 ， 我 们 会 认为 表 4-11 就 是 “用 
井 行 测试 。 


测试 点 等 于 测试 用 例 ? 

4.4.1 测试 点 不 等 于 测试 用 例 

测试 点 和 测试 用 例 是 不 同 的 ， 这 是 我 们 首先 需要 认识 到 的 。 

如 果 我 们 拿 测 试点 来 进行 测试 ， 会 友 现 很 多 让 我 们 不 爽 、 困 惑 的 问题 : 
问题 1 : 这 些 测 试点 在 内 容 上 有 重复 ， 存 在 几 余 。 

例如 ， 测 试点 1、 测 试点 4 都 会 测试 到 “正确 上 友 送 邮件 ”。 

问题 2 : 一 些 测 试点 的 测试 输入 不 明确 ， 不 知道 测试 时 要 测试 哪些 。 


例如 ， 测试 测 试点 1 时 ， 我们 并 不 知道 我 们 要 测试 哪些 “正常 的 输入 数据 ”。 存 在 类 
似 问题 的 还 有 测试 点 5。 


有 的 朋友 会 说 ， 我 们 只 要 加 个 备注 ,把 测试 点 1 中 的 “正常 的 输入 数据 ”补充 出 来 不 
束 好 了 吗 ? 对 本 例 来 说 ， 这 不 失 为 一 个 好 方法 。 但 是 对 一 些 输 入 数据 较 多 ， 并 且 这 
些 数据 之 间 又 存在 一 些 约束 关系 ， 要 组 合 、 要 配对 的 时 候 ， 靠 “加 备注 ”的 方式 就 
不 好 用 了 。 


如 果 我 们 在 测试 执行 的 时 候 ， 还 要 考虑 需要 测试 哪些 输入 、 要 怎么 去 组 合 ， 束 非常 


问题 3 : 总 是 在 搭 相似 的 环境 ， 做 类 似 的 操作 。 


有 些 测 试点 之 间 存 在 一 定 的 执行 顺序 ， 需 要 把 这 些 测试 点 放 在 一 起 测试 。 例 如 ， 先 
执行 测试 点 6， 表 紧 接 着 执行 测试 点 11， 可 以 最 大 限度 地 利用 之 前 的 测试 环境 和 测试 


结果 。 


如 果 我 们 在 测试 时 没有 注意 到 这 点 ， 执 行 完 测试 点 6 接着 执行 测试 点 7…… 到 执行 测试 
点 11 时 ， 我 们 发 现 还 要 搭 一 次 和 测试 点 6 一 样 的 环境 ， 做 一 些 一 样 的 操作 。 如 果 这 种 
情况 很 多 ， 残 会 严重 影响 测试 效率 。 


问题 4 : 测试 点 摘 述 得 太 粗 ， 不 类 道 是 不 是 测 对 了 。 


有 些 测 试点 写 得 很 粗 ， 我们 不 知道 测试 目标 是 什么 ， 或 是 该 关注 哪些 地 方 。 例 如 ， 
测试 点 4， 我 们 不 知道 将 “用 户 友 送 电 子 邮 件 ” 和 和 “用户 接 收 的 电子 邮件 ”这 两 个 操 
作 放 在 一 起 ， 它 们 的 “交互 点 ”在 哪里 ? 我 们 需要 发 送 特殊 的 电子 邮件 ， 还 是 随便 
发 送 一 封 束 可 以 了 ? 这 使 得 测试 人 员 可 能 会 漏 挥 一 些 关 键 内 容 ， 测 不 到 点 子 上 。 


, 透露 出 测试 处 于 一 种 既 匈 余 又 不 足 的 米 熔 中 。 究 其 根源 ， 殊 在 于 我 们 有 
地 将 测试 点 和 测试 用 例 画 上 了 等 


测试 点 并 不 等 于 测试 用 例 。 


测试 点 是 测试 者 在 测试 时 需要 关注 的 地 方 。 虽 然 我 们 在 分 析 测 试点 时 ， 会 使 用 各 种 
测 斌 方法， 但 这 些 方法 在 思路 和 操作 上 都 是 不 同 的 ， 一 些 方 法 得 到 的 测试 点 要 细 一 
些 、 具 体 一 些 ， 一 些 方法 得 到 的 测试 点 粗 一 些 、 泛 一 些 是 非常 正常 的 。 另 外 ， 谁 也 
不 能 保证 这 些 测试 点 之 间 不 会 重复 或 是 相互 包含 。 如 果 我 们 的 测试 束 是 按照 这 样 一 
份 粗细 不 一 、 深 浅 不 明 、 关 系 不 清 的 说 明 书 来 进行 的 ， 又 怎么 不 会 陷入 既 见 余 又 不 
足 的 困境 中 呢 ? 


而 测试 用 例 是 在 测试 点 “加 工 ” 的 基础 上 得 到 的 。 首 先 把 测试 点 “去 重 ” (去掉 重 
复 的 内 容 ) 、“ 合 并 ”( 把 太 细 的 测试 点 合并 起 来 ) 、“ 细 化 ” ( 把 太 泛 的 测试 点 


说 清楚 、 说 具体 ) ， 然 后 再 确定 各 个 测试 点 的 测试 条 件 、 测 试 数据 和 输出 结果 。 如 
果 说 测试 点 还 只 是 一 些 散 乱 的 测试 思路 的 集合 ， 那么 测试 用 例 就 是 一 份 真正 能 够 指 
导 测 试 的 测试 说 明 书 。 接 下 来 我 们 就 为 大 家 详细 介绍 测试 设计 的 方法 。 


4.4.2 四 步 测 试 设计 法 


把 测试 点 加 工 为 测试 用 例 ， 残 叫 测试 设计 ， 在 这 个 过 程 中 使 用 的 方法 束 叫 测试 设计 
方法 。 路 径 分 析 法 、 判 定 表 、 正 交 分 析 法 、 等 价 类 、 边 界 值 等 都 是 常见 的 测试 设计 
方法 。 


在 测试 分 析 中 ， 我 们 对 被 测 对 象 按照 测试 方法 进行 思考 ， 残 能 得 到 测试 点 ， 所 以 测 
试 分 析 是 一 个 “ 友 现 性 ”的 过 程 ， 如 图 4-35 所 示 ， 而 测试 设计 不 同 。 


测试 分 析 是 一 个 
“发 现 性 ”的 过 程 


外 需求 包 

e。 再 求 规格 
。 系 统 设计 使 用 各 种 测试 方法 对 测试 点 
。x x 功能 的 概要 设计 被 测 对 象 进行 分 析 i 
。x x 功能 的 详细 设计 









图 4-35 测试 分 析 是 一 个 “发 现 性 ”的 过 程 


大 家 可 以 做 这 样 一 个 试验 ， 让 两 个 测试 者 根据 “车 轮 图 ”来 分 析 同 一 个 测试 对 象 ， 
他 们 得 到 的 测试 点 孝 异 并 不 会 太 大 ， 但 是 最 后 生成 的 测试 用 例 却 会 干 差 万 别 。 这 是 
因为 ， 从 测试 点 到 测试 设计 ， 我 们 会 加 工 测 试点 ， 对 它们 进行 组 合 、 拆 分 ， 选 择 测 
试 数据 ， 等 等 ， 这 是 个 “创造 性 ”的 过 程 ，1688 个 测试 者 ， 就 会 有 166 个 不 同 的 思 
路 ， 最 后 得 到 的 测试 用 例 当然 就 干 差 万 别 了 。 


不 同 的 测试 者 设计 的 测试 用 例 不 同 ， 本 也 是 一 件 无 可 厚 非 的 事情 ， 但 也 使 得 一 个 测 
试 团队 中 的 测试 用 例 的 质量 恨 鞠 不 齐 。 对 软件 测试 架构 师 来 说 ， 在 测试 设计 阶段 ， 
保证 测试 用 例 的 质量 ， 为 测试 团队 提供 有 效 的 测试 技术 支持 是 一 项 重要 的 职责 。 我 
们 不 禁 要 问 ， 有 没有 一 套 测 试 设计 方法 ， 能 够 对 测试 团队 在 测试 设计 中 起 到 很 好 的 
指引 作用 ， 并 能 帮助 我 们 输出 优质 的 测试 用 例 呢 ? 答案 是 有 ， 融 是 “四 步 测试 设计 
法 ”。 


四 步 测试 设计 法 是 一 套 通 过 四 个 步骤 来 完成 测试 设计 的 方法 。 四 步 测试 设计 法 中 包 
含 一 些 模 型 ， 对 每 一 种 模型 ， 都 有 适合 这 个 模型 的 测试 设计 方法 ， 起 到 了 很 好 的 测 
试 设计 指引 的 作用 |。 

四 步 测试 设计 法 的 四 个 天 键 步 骤 如 图 4-36 所 示 。 


Step1: 建 模 


step2: 设计 基础 测试 用 例 


Step3: 补充 测试 数据 





Step4: 扩展 


图 4-36 四 步 测试 设计 法 的 四 个 关键 步骤 


第 一 步 : 建 模 。 


很 多 朋友 可 能 一 听 到 “ 建 模 ”， 融 营 得 这 个 方法 一 定 很 难 。 其 实 ， 在 这 个 步骤 中 ， 
我 们 并 不 是 要 大 家 对 每 个 测试 点 都 原创 出 一 些 测试 模型 ， 而 是 根据 测试 点 的 特征 ， 
为 测试 点 选择 一 个 适合 后 续 测试 设计 的 模型 。 也 许 我 们 称 这 个 步骤 为 “ 选 模 ”更 为 
贴切 。 


既然 “ 选 模 ”需要 参考 测试 点 的 特征 ， 研 究 测 试点 、 分 析 特 征 的 情况 并 对 其 进行 归 
类 是 必 不 可 少 的 。 目 前 我 们 将 其 分 为 四 类 : 


类 型 1 : “流程 ” ; 

类 型 2 : “参数 ”， 

类 型 3 : “数据 ” ; 

类 型 4 : “组 合 ” 。 

对 每 一 类 测试 点 ， 我 们 都 给 出 了 一 些 最 适合 的 “ 建 模 ”方法 : 
.对 “流程 ”类 ， 可 以 通过 绘制 “流程 图 ”来 建立 测试 模型 。 
-对 “参数 ”类 ， 可 以 通过 “输入 输出 表 ” 来 建立 测试 模型 。 
-对 “数据 ”类 ， 可 以 通过 “等 价 类 分 析 表 ”来 建立 测试 模型 。 
:对 “组 合 ” 类 ， 可 以 通过 “因子 表 ” 来 建立 测试 模型 。 


"“ 建 模 ” 帮 有 我 们 解决 了 面 对 众多 测试 方法 的 选择 性 难题 ， 使 得 测试 设计 变 得 很 有 针 
对 性 ， 科 学 又 有 效 。 在 4.4.3 节 中 ， 我 们 还 将 为 大 家 详细 介绍 如 何 对 测试 点 进行 分 


类 。 


第 二 步 : 设计 基础 测试 用 例 。 


在 这 个 步骤 中 ， 我 们 会 对 已 经 建立 好 的 测试 模型 ， 来 设计 一 些 基 础 测试 用 例 ， 覆 蔓 


这 个 测试 模型 。 


为 什么 我 们 称 此 时 的 测试 用 例 为 基础 测试 用 例 呢 ? 测试 用 例 和 基础 测试 用 例 最 大 的 
差别 在 于 ， 测 试用 例 确定 了 测试 条 件 ( 类 似 “ 在 xx 情况 下 ， 进 行 xx 的 测试 ”的 描 
述 ) 和 测试 数据 ( 融 是 输入 的 “参数 值 ”或 “数值 ” ) ， 而 基础 测试 用 例 只 确定 了 
测试 条 件 。 


由 于 此 时 我 们 关心 的 仅 是 对 模型 的 履 兰 ， 得 到 的 是 一 些 测试 条 件 ， 因 此 我 们 称 此 时 
的 测试 用 例 是 基础 测试 用 例 。 


对 有 举 测试 设计 方法 来 说 ， 可 以 在 履 关 模型 的 同时 确定 测试 数据 ， 这 时 得 到 的 融 是 
测试 用 例 ， 当 然 这 样 我 们 也 不 再 需要 进行 第 三 步 了 。 但 是 为 了 统一 起 见 ， 我 们 还 是 
称 这 个 步骤 为 “设计 基础 测试 用 例 ”。 


第 三 步 : 补充 测试 数据 。 


在 这 个 步骤 中 ， 我 们 为 基础 测试 用 例 来 确定 测试 输入 ， 补 充 测 试 数据 ， 这 时 基础 测 
试用 例 束 升级 成 真正 的 测试 用 例 了 。 


第 四 步 : 扩展 。 


模型 不 是 银 弹 ， 不 能 解决 测试 设计 的 所 有 间 题 。 我 们 还 需要 根据 经 验 ， 特 别 是 对 系 
统 哪 些 地 方 容 易 友 生 缺 陷 的 认识 ， 补 元 一 些 测试 用 例 ， 增 加 系统 的 有 效 性 。 


4.4.3 对 测试 点 进行 分 类 


在 使 用 四 步 测试 方法 之 前 ， 我 们 首先 要 对 测试 点 进行 分 类 。 分 类 的 依据 ， 束 是 看 测 
试点 是 否 有 “流程 ”类 的 特征 、“ 参 数 ” 类 的 特征 、“ 数 据 ” 类 的 特征 、“ 组 
合 ” 类 的 特征 。 


痰 闫 


1 .流程 类 测试 点 有 哪些 特征 


流程 类 测试 点 ， 拥 有 流程 方面 的 一 些 特征 。 具 体 来 说 ， 我 们 将 测试 点 分 成 一 些 步 
又 ， 会 因为 输入 的 不 同 而 进行 不 同 的 处 理 ， 全 部 分 析 完 成 后 ， 能 够 将 测试 点 绘 成 如 
图 4-37 所 示 的 流程 图 。 

和 输入 ‘ 
数据 / 


Bare 





图 4-37 流程 类 测试 点 的 流程 图 


有 时 候 ,一 个 测试 点 可 能 只 能 绘 出 一 个 流程 片段 ， 我 们 可 以 把 与 此 相关 的 测试 点 放 
到 一 起 ， 使 其 能 够 表示 一 个 较为 完整 的 流程 。 


我 们 来 看 一 个 实际 的 例子 。 


举例 : 分 析 “PC 连 接 WiFi” 的 测试 点 属于 哪些 类 型 
“PC 连接 WiFi” 这 个 功能 包含 表 4-12 所 示 的 测试 点 。 


表 4-12 PC 连接 WiFi 的 测试 点 


编号 测试 点 
1 首选 WiFi 网 络 可 用 时 选用 首选 WiFi 网 络 

2 首选 WiFi 网 络 不 可 用 时 ， 可 以 选用 备 选 WiFi 网 络 

3 PC 可 以 连接 加 密 的 WiFi 网 络 


PC 可 以 连接 不 加 密 的 WiFi 网 络 
PC 可 以 设置 加 密 的 WiFi 网 络 的 加 密 算 法 ,分 别 为 WEP、WPA 和 WPA2 (为 了 简化 ,我 们 约定 PC 只 能 
选择 一 种 加 密 算法 ) 


~ 


在 分 析 测 试点 之 前 ， 我 们 先 来 了 解 一 下 “PC 连接 WiFi” 的 业务 流程 ( 这 里 只 是 为 了 


举例 说 明 测 试 设计 的 方法 ， 并 不 是 真正 的 PC 连接 WiFi 的 流程 ， 个 简化 的 版 
本 )。 
第 一 步 ， 选 择 wiFi 网 络 : PC 会 先 判断 首选 的 WiFi 网 络 是 否 可 用 ， 如 果 不 可 用 ， 束 判 


第 二 步 ， 判 断 NiFi 是 否 需要 加 密 : PC 会 判断 连接 的 wiFi 是 否 需 要 加 密 。 


第 三 步 ， 连 接 网 络 : 如 果 需 要 加 密 ， 残 加 密 后 再 连接 ; 如 果 不 需 要 加 密 ， 残 直接 连 
接 网 络 。 


从 测试 点 的 描述 来 看 ， 测 试点 1 和 测试 点 2 描述 的 是 选择 wiFi 网 络 ， 测 试点 3 和 测试 
点 4 描述 的 是 判断 WiFi 是 否 需 要 加 密 和 连接 网 络 。 测 试点 1~ 测 试点 4 每 个 测试 点 都 描 
述 了 “PC 连接 iFi” 的 一 些 操作 步骤 ,共同 摘 述 了 整个 沅 程 ， 它 们 属于 “流程 ”类 
的 测试 点 ， 并 且 在 测试 设计 的 时 候 ， 需 要 把 这 4 个 测试 点 放 在 一 起 进行 分 析 。 


测试 点 5 虽然 可 以 归属 于 “判断 NiFi 是 人 否 需要 加 密 ” 这 个 步骤 中 ( 如 果 配 置 了 上 述 加 
密 算法 中 的 任意 一 种 ， 融 表示 需要 加 密 ) ， 但 是 这 个 测试 点 是 从 “支持 的 配置 参 
数 ” 这 个 角度 去 描述 的 ， 并 没有 去 摘 述 一 个 步骤 或 是 一 个 流程 片段 。 而 且 从 流程 上 
来 说 ， 无 论 我 们 选择 哪 种 加 密 算 法 ， 都 不 会 影响 “判断 WiFi 是 否 需 要 加 密 ” 这 个 结 


2 .参数 类 测试 点 有 哪些 特征 


如 果 测 试点 中 主要 包含 的 是 一 些 参 数 ， 能 够 概括 成 和 图 4-38 所 示 类 似 的 样子 
( “A” 表 示 参 数 ，“"al1”“a2”“a3” 表 示 “A” 的 取 值 )， 残 可 以 认为 这 个 测试 
所 是 参数 类 的 。 


例如 ， 测 试点 “用 户 登 录 时 可 以 使 用 “用户 名 密码 ” “数字 证 书 ”或 “短信 验 

证 ” 的 方式 来 进行 身份 认证 ” ，“ 用 户 登 录 方 式 ” 可 以 看 成 图 中 的 “A” ，“ 用 户 名 
密码 ”相当 于 “al” ，“ 数 字 证 书 ” 相 当 于 “a2” ，“ 短 信和 验证 ”相当 于 “a3” ， 
这 个 测试 点 残 是 参数 类 的 测试 点 。 


参数 类 的 测试 点 有 以 下 两 个 重要 的 特点 : 

第 一 ，“ 参 数值 ”的 个 数 是 有 限 的 ， 可 以 通过 遂 历 的 方式 来 测试 覆盖 到 | ; 

第 二 ， 系 统 会 对 不 同 的 “参数 值 ” 作 出 不 同 的 处 理 或 响应 。 

理解 这 两 个 特点 ， 能 够 帮助 我 们 区 分 参数 类 和 | 数据 类 ( 下 一 市 束 会 讲 到 ) 测试 点 。 
有 时 候 ， 一 个 测试 点 中 可 能 会 有 好 几 个 参数 ， 如 图 4-39 所 示 。 


有 时候，“A” 和 “B” 之 间 可 能 也 会 存在 一 些 依 赖 关系 ， 如 “A 要 选择 a1，B 才 能 配 


置 ”“ 如 果 A 选 择 了 al ，B 束 必须 选择 bp1” 等 。 如 果 这 样 的 关系 存在 于 不 同 的 测试 点 
中 ， 如 图 4-46 所 示 ，“A” 和 和 “B” 分 别 存 在 于 “测试 点 1” 和 “测试 点 2” 中 ,在 
做 “测试 设计 ”的 时 候 ， 我 们 融 需 要 把 “测试 点 1” 和 “测试 点 2” 放 在 一 起 来 考 





图 4-38 测试 点 参数 


As [lallla2[ |a3 
B: LiblL|b2 





图 4-39 一 个 测试 点 中 的 几 个 参数 


Ne ns 入 
测试 点 1 


Gs: [iT 


测试 点 2 | B: 口 bl 口 b2 


图 4-46 测试 点 举例 





我 们 还 是 来 看 “PC 连接 WiFi” 这 个 例子 。 
举例 : 分 析 “PC 连 接 WiFi” 的 测试 点 属于 哪些 类 型 ( 续 1 ) 


“PC 连接 WiFi” 这 个 功能 包含 的 测试 点 见 表 4-12。 


前 面 我 们 已 经 分 析出 测试 点 1~ 测 试点 4 属于 流程 类 测试 点 ， 而 测试 点 5， 主 要 是 

从 “支持 的 配置 参数 ”这 个 角度 去 描述 的 ， 其 中 “设置 加 密 的 WiFi 网 络 的 加 密 算 
法 ”就 是 参数 ，NEP、WPA 和 WPA2 就 是 它 的 参数 值 ，“ 测 试点 5” 属于 参数 类 的 测试 
器 


[AMA 


需要 特别 指出 的 是 ， 测 试点 5 和 测试 点 1 测试 点 4 是 存在 一 定 的 内 在 关系 的 : 


测试 点 5 要 想 测试 成 功 ， 需 要 保证 “首选 WiFi 网 络 ” 或 者 “ 备 选 WiFi 网 络 ” 至 少 有 
一 个 可 用 ， 换 名 话说， 测试 点 1 或 者 测试 点 2 是 测试 点 5 的 测试 条 件 。 


测试 点 1~ 测 试点 4 在 测试 连接 加 密 的 WiFi 网 络 的 流程 中 ， 也 需要 输入 任意 一 种 加 密 
算法 ， 即 测试 点 5 为 测试 点 1~ 测 试点 4 提供 输入 值 。 


我 们 在 测试 设计 的 时 候 ， 将 测试 点 1~ 测 试点 4 和 测试 点 5 分 开 来 考虑 的 原因 是 ， 我 们 
希望 通过 对 测试 点 1~ 测 试点 4 设计 测试 用 例 ， 来 测试 验证 “PC 连接 WiFi” 的 连接 流 
程 的 正确 性 ， 而 不 关注 使 用 的 是 怎样 的 加 密 算法 ; 对 测试 点 5 设计 测试 用 例 ， 来 测试 
验证 每 个 加 密 算法 在 实现 上 的 正确 性 ， 而 不 关注 对 流程 的 覆盖 。 通 过 这 样 的 归 类 ， 
我 们 的 测试 变 得 很 聚焦 ， 突 出 了 测试 重点 ， 弱 化 了 我 们 不 太 天 心 的 地 万 ， 同 时 也 能 


减少 测试 设计 的 复杂 性 。 


当然 ， 我 们 也 可 将 测试 点 1~ 测 试点 5 整个 放 在 一 起 来 考虑 ， 这 是 后 话 ， 将 在 后 面 的 章 
节 中 为 大 家 介绍 。 


3 .数据 类 测试 点 有 哪些 特征 


如 果 测 试点 中 主要 包含 的 是 一 些 数据 ， 能 够 概括 成 和 图 4-41 所 示 类 似 的 样子 
( “A” 表 示人 参数 ，“amin” “amax” 表 示 “A” 的 取 值 范围 ) ， 就 可 以 认为 这 个 测 


试点 是 数据 类 的 。 


例如 ， 测试 点 “人 允许 输入 的 用 户 名 的 长 度 为 1~32 个 字符 ” ，“ 用 户 名 的 长 度 ” 等 同 
于 图 中 的 “A” ，“amin” 为 “1 个 字符 长 度 的 用 户 名 ” ，“amax” 为 “32 个 字符 长 
度 的 用 户 名 ”， 这 个 测试 点 就 是 数据 类 的 测试 点 。 


和 “参数 ”类 相 比 ，“ 数 据 ” 类 的 特点 是 : 
第 一 ， 数 据 的 取 值 是 一 个 荡 围 ， 通常 不 能 用 遍历 的 方式 来 测试 覆盖 。 


融合 “人 允许 输入 的 用 户 名 的 长 度 为 1~32 个 字符 ”来 说 ， 如 果 要 进行 志 历 测试 ， 融 需 
要 依次 测试 “1 个 字符 长 度 的 用 户 名 ” “2 个 字符 长 度 的 用 户 名 ”.…… 直 到 “32 个 字 
符 长 度 的 用 记名 ”“， 这 样 的 测试 融 显 得 很 见 余 。 


第 二 ， 系 统 对 允许 输入 的 “数据 ”作出 的 处 理 或 响应 往往 是 一 样 的 。 


例如 ， 系统 在 处 理 “1 个 字符 长 度 的 用 尸 名 ”和 “2 个 字符 长 度 的 用 尸 名 ”时 ， 往 往 
是 一 样 的 。 


一 个 数据 类 的 测试 点 中 ， 也 可 能 会 有 好 几 个 数据 ， 如 图 4-42 所 示 。 


但 是 数据 类 的 “A” 和 “B” 之 间 是 没有 关系 的 ， 换 句 话说 ， 我 们 可 以 将 这 个 包 
含 "A 和 “B” 的 “测试 品 ” 直 接 拆 为 两 个 “测试 品 ”， 然 后 分 别 对 测试 点 1 和 测试 
所 2 进行 分 析 ， 如 图 4-43 所 示 。 





图 4-41 测试 点 中 的 数据 





图 4-42 一 个 测试 点 多 个 数据 


测试 点 1 


测试 点 2 





图 4-43 对 测试 点 进行 分 析 


如 果 我 们 友 现 “A” 和 “B” 之 间 存 在 关联 ， 我 们 就 需要 通过 等 价 类 和 边界 值 的 分 
析 ， 将 它们 转换 为 参数 类 的 测试 点 ， 再 进行 测试 。 


我 们 来 看 一 个 实际 的 例子 。 
举例 : 分 析 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 的 测试 点 属于 什么 测试 类 型 
“WiFi 上 可 以 修改 MiFi 网 络 的 默认 名 称 ” 包 含 表 4-13 所 示 的 测试 点 。 


表 4-13 WiFi 网 络 默认 名 称 包 含 的 测试 点 


编号 测试 点 
可 以 通过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 


1 
2 PC 连接 成 功 后 ， 可 以 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 
3 | WiFi 网 络 支持 的 名 称 为 :1 一 10 个 字符 ， 允 许 输 入 “字母 "“ 数 字 ” 和 “下 划 线 ”， 不 允许 其 他 的 输入 


我 们 移 来 看 测试 点 3。 测 试点 3 摘 述 了 WiFi 网 络 名 称 的 长 硫 沁 围 和 命名 限制 ， 满 足 前 


面 我 们 讨论 的 数据 类 测试 点 的 特点 ， 属 于 数据 类 。 
对 测试 点 1 和 测试 点 2 而 言 ， 它 们 描述 的 是 修改 WiFi 网 络 名 称 的 条 件 。 
条 件 1 : 通过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 去 修改 。 


条 件 2 : PC 连接 成 功 后 ， 可 以 登录 到 WiFi 上 去 修改 ( 即 通 过 WiFi 的 业务 口 去 修 
改 ) 。 


它们 不 能 脱离 开 测试 点 3 而 单独 存在 。 因 此 ， 测 试点 1 和 测试 点 2 需要 与 测试 点 3 放 在 
一 起 考虑 ， 将 它们 整体 归属 为 数据 类 。 


4. 组 合 类 测试 点 有 哪些 特征 


测试 点 是 可 以 “组 合 ”的 。 在 测试 设计 时 ， 我 们 可 以 把 流程 类 、 数 据 类 和 参数 类 的 


测试 点 组 合 在 一 起 进行 测试 设计 。 为 了 和 前 面 的 测试 点 类 型 对 应 ， 我 们 称 这 种 需要 
放 在 一 起 进行 测试 设计 的 测试 点 为 “组 合 ”类 测试 点 . 


组 合 类 的 测试 点 可 以 描述 为 如 图 4-44 所 示 的 流 程 。 





图 4-44 组 合 类 测试 点 的 流程 


和 单纯 的 流程 类 相 比 ， 它 可 能 有 多 个 “输入 ”， 这 多 个 “输入 ”可 能 为 参数 ， 也 可 
能 为 数据 。 


我 们 继续 来 看 “PC 连接 WiFi” 这 个 例子 。 
举例 : 分 析 “PC 连 接 WiFi” 功 能 的 测试 点 属于 哪些 类 型 ( 续 2 ) 
“PC 连接 WiFi” 这 个 功能 包含 的 测试 点 见 表 4-12。 


在 参数 类 测试 点 分 析 举 例 的 时 候 ， 我 们 残 提 到 能 够 将 测试 点 1~ 测 试点 5 放 在 一 起 考 
虑 ,把 它们 放 一 起 区 构成 了 “组 合 ” 类 的 测试 点 。 


我 们 将 测试 点 1~ 测 试点 4 和 测试 点 5 分 开 来 考虑 ， 是 为 了 能 够 分 别 验 证 “PC 连接 
WiFi” 的 连接 流程 的 正确 性 和 每 个 加 密 算法 在 实现 上 的 正确 性 。 这 样 设计 出 来 的 测 
试用 例 也 会 更 关注 设计 ， 更 关注 功能 在 实现 上 的 细节 ， 在 测试 时 也 能 比较 多 地 发 现 


这 些 方面 的 问题 。 

如 果 我 们 将 测试 点 1~ 测 试点 5 组 合 在 一 起 考虑 ， 更 多 的 是 站 在 系统 的 角度 上 来 进行 测 
试 ， 能 够 测试 到 各 个 功能 之 间 的 配合 和 与 系统 整体 相关 的 一 些 问 题 。 

4.4.4 流程 类 测试 设计 : 路 径 分 析 法 


使 用 “四 步 测试 设计 法 ”对 流程 类 的 测试 点 进行 测试 设计 ， 整 体 方法 如 图 4-45 所 


9 
Ed 
D 


绘制 流程 图 





使 用 “路 径 分 析 法 ” 
测试 用 例 aa 


Step3: 补充 测试 使 用 “等 价 类 ”或 “边界 值 ” 
数据 等 技术 确定 测试 条 件 


Step4: 扩展 


图 4-45 四 步 测试 设计 法 





ie 其 他 需要 考虑 的 





1 .通过 绘制 业务 流程 图 来 建 模 
对 流程 类 的 测试 点 ， 建 模 就 是 绘制 这 些 测试 点 代表 的 业务 流程 图 。 人 在 这 个 步骤 中 需 


要 特别 注意 的 地 方 是 : 


:测试 者 要 充分 理解 和 测试 点 相关 的 功能 业务 流程 ， 确 保 流 程 图 的 正确 性 。 
:测试 者 要 和 产品 设计 者 充分 交流 ， 保 证 绘 出 的 流程 图 能 够 正确 覆盖 产品 的 设计 。 


:如果 开 发 已 经 提供 了 该 功能 的 流程 图 ， 测 试 者 需要 仔细 审核 流程 图 的 正确 性 ， 如 有 
必要 可 以 重新 绘制 。 


以 “PC 连接 WiFi” 为 例 ， 我 们 来 对 测试 点 1~ 测 试点 4 进行 测试 建 模 。 
举例 : 对 “PC 连接 WiFi” 中 的 测试 点 1~ 测 试点 4 进行 测试 建 模 


在 4.4.3 节 中 讨论 流程 类 测试 点 的 特征 时 ， 我 们 已 经 分 析出 测试 点 1~ 测 试点 4 为 流程 


类 ， 见 表 4-14。 
表 4-14 对 测试 点 1~ 测 试点 4 的 分 析 


1 首选 网 络 可 用 时 选用 首选 网 络 可 以 连接 加 密 的 WiFi 网 络 


2 首选 网 络 不 可 用 时 ， 可 以 选用 备 选 网 络 可 以 连接 不 加 密 的 WiFi 网 络 





接 下 来 我 们 就 来 为 测试 点 1~ 测 试点 4 绘制 相关 的 业务 流程 图 ， 建 立 测试 模型 ， 如 图 4- 


46 所 泵 。 










备 选 WiFi 
是 否 可 用 






连接 失败 


构造 连接 WiFi 
的 消息 


连接 成 功 


图 4-46 测试 点 1~ 测 试点 4 相关 的 业务 流程 图 
2 .路径 分 析 法 


对 流程 类 的 测试 点 ， 我 们 把 模型 建立 好 了 之 后 ( 即 绘 出 了 流程 图 ) ， 就 会 使 用 路 径 


分 析 法 来 “覆盖 ”这 个 流程 图 ， 设计 基础 测试 用 例 。 在 介绍 如 何 做 之 前 ， 我 先 为 大 
家 简要 介绍 路 径 分 析 法 。 

路 径 是 指 完 成 一 个 功能 用 户 所 执行 的 步骤 ， 即 通过 程序 代码 的 一 条 运行 轨迹 。 以 图 
4-21 所 示 的 “流程 ”为 例 , 图 4-47 中 的 “P1 一 e1 一 d1 一 e4 一 d2 一 e7 一 d3 一 e106 一 
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图 4-47 流程 图 举例 

所 谓 路 径 分析 法 ， 就 是 指 对 能 够 覆盖 流程 的 各 种 路 径 进行 分 析 ， 得 到 一 个 路 径 的 集 
合 。 在 测试 时 ， 我 们 只 需要 按照 这 个 路 径 集 合 进行 测试 即 可 。 

不 同 的 覆盖 策略 ， 能够 得 到 不 同 的 路 径 集 合 。 常 见 的 覆 匡 策略 有 语句 覆盖 、 分 支 覆 


蔓 、 全 和 宪 葬 和 最 小 线性 无 关 和 覆盖 。 


为 了 后 续 叙 述 问题 更 为 方便 ,我们 先 来 对 组 成 流程 的 “元 素 ” 进 行 定义 ， 见 表 4- 
15。 


表 4-15 定义 组 成 流程 的 元 素 


在 图 中 连接 节点 的 线 一 
我 们 用 en (n=1，2… ) 来 表示 


有 一 条 或 多 条 和 人 边 和 有 两 条 出 边 的 分 支 节点 





我 们 用 dn (n=1，2… ) 来 表示 





有 一 条 或 多 条 和 人 边 和 有 一 条 出 边 的 收集 节点 


我 们 用 Pn (n=1，2… ) 来 表示 


“ 边 ” “判定 ”和 “过 程 ” 完 全 包围 起 来 的 一 
块 区 域 





图 4-47 中 “dl 一 e2 一 P2 一 e3 一 e4” 就 是 一 个 区 域 
1 ) 语句 覆盖 
语句 覆盖 是 指 履 盖 系 统 中 所 有 判定 和 过 程 的 最 小 路 径 集合 。 


对 图 4-48 所 示 的 例子 来 说 ， 按 照 上 述 规则 ， 只 需 两 条 路 径 即 可 满足 语句 覆盖 。 





图 4-48 语句 履 盖 举例 


仔细 分 析 语 句 覆 关 的 路 径 ， 融 会 友 现 语句 覆 关 的 履 关 程度 是 比较 弱 的 ， 它 不 会 考虑 
流程 中 的 “判定 ”以 及 这 些 “ 判 定 ”“ 过 程 ”之 间 的 相互 关系 ， 如 果 测 试 只 按 

照 “ 语 句 覆 藉 ” 的 方式 来 进行 测试 ， 束 很 容易 出 现 遗 漏 。 拿 上 面 的 例子 来 说 ， 即 使 
我 们 执行 了 语句 覆盖 中 的 所 有 路 径 ， 流 程 中 所 有 “ 真 假 混 合 ” 的 路 径 (如 “P1 一 d1 
一 P2 一 d2 一 d3 一 P5” ) 都 没有 执行 到 。 


2 ) 分 支 覆 芋 


分 文 禾 善 是 指 履 关 系统 中 每 个 判定 的 所 有 分 文 所 需 的 最 小 路 径 数 。 


对 图 4-48 所 示 的 例子 来 说 ， 满 足 分 文 覆 兰 的 路 径 集 合 和 语句 履 关 的 路 径 集合 是 一 样 
的 。“ 路 径 1” 覆 苹 的 是 所 有 “判定 ”结果 为 “ 真 ” 的 情况 ，“ 路 径 2” 才 善 的 是 所 
有 “判定 ”结果 为 “ 假 ” 的 情况 。 


分 支 覆 盖 考 虑 了 流程 中 的 “判定 ”， 但 是 没有 考虑 这 些 “ 判 定 ” 之 间 的 关系 。 分 支 
履 兰 也 是 一 种 不 是 很 强 的 履 善 。 


3 ) 全 帮 盖 
全 履 盖 是 指 166% 地 覆盖 系统 所 有 可 能 的 路 径 的 集合 。 


对 图 4-48 所 示 的 例子 来 说 ， 根 据 排列 组 合算 法 ， 可 以 得 到 它 的 “全 路 径 ” 一 共有 
2x2x2=8 条 ， 如 图 4-49 所 示 。 






























































图 4-49 全 禾 蘑 


全 覆盖 包含 了 系统 所 有 可 能 的 路 径 ， 覆盖 能 力 一 流 ， 但 是 除非 你 测试 的 是 一 个 微型 
的 系统 ， 对 普通 系统 来 说 ， 随 着 判定 增加 而 呈 指 数 类 型 增长 的 路 径 数 使 得 需要 测试 
的 路 径 数目 非常 庞大 ， 完 全 超出 了 一 个 测试 团队 能 够 承担 的 正常 工作 量 ， 在 实际 中 
很 难 按 此 执行 。 


4 ) 最 小 线性 无 关 覆 芋 


仔细 分 析 全 履 盖 ， 束 会 友 现 全 履 关 的 路 径 中 有 很 多 会 被 重复 执行 的 路 径 片 段 ， 如 路 


径 3 和 路 径 6 中 的 d1 一 e2 一 P2 一 e3。 我 们 希望 能 有 这 样 的 一 种 覆 苹 方式 ， 仪 保证 流程 
图 中 每 个 路 径 片 段 能 够 被 至 少 执行 一 次 ， 在 这 种 覆 苹 策略 下 得 到 的 最 少 路 径 组 合 ， 
融 是 最 小 线性 无 天 履 兰 。 


有 三 个 等 式 可 以 用 于 计算 一 个 流程 中 的 最 小 线性 无 天 路 径 的 数目 ( 《图 与 超 图 》 


C.Berge 和 荷兰 ) : 

等 式 1 : 一 个 系统 中 的 线性 无 关 路 径 ( IP ) = 边 数 (E ) -节点 数 ( N ) +2 
等 式 2 : 一 个 系统 中 的 线性 无 关 路 径 ( IP ) = 判定 数 (P ) +1 

等 式 3 : 一 个 系统 中 的 线性 无 关 路 径 ( IP ) = 区 域 数 (R ) +1 


这 三 个 等 式 是 等 效 的 。 如 图 4-58 所 示 。 





图 4-58 三 个 等 效 的 等 式 

按照 这 些 等 式 ， 可 以 得 出 这 个 流程 中 的 线性 无 天 路 径 数 为 4 个 : 
-使 用 等 式 1 : 16 ( 边 数 ) -8 ( 节点 数 ) +2=4 

.使 用 等 式 2 : 3 ( 判定 数 ) +1=4 

.使 用 等 式 3 : 3 ( 区 域 数 ) +1=4 


使 用 图 4-51 所 示 的 算法 可 以 帮助 我 们 获得 流程 中 所 有 线性 无 关 路 径 。 


进入 流程 









判定 为 “ 假 的 路 径 ” 
是 否 被 执行 过 ? 





FL 


执行 “ 假 ” 所 在 的 
分 文 


执行 “县 ”所 在 的 





分 文 


此 后 再 遇 到 “判定 ” 
只 执行 “其 ” 所 在 
的 分 文 





图 4-51 获得 线性 无 天 路 径 的 算法 


按照 上 述 算 法 ， 以 图 4-51 所 示 为 例 ， 我 们 可 以 得 到 图 4-52 所 示 的 4 条 线性 无 关 路 


j 又 . 
径 : 


| 路 径 1 





图 4-52 4 条 线性 无 关 路 径 


需要 特别 指出 的 是 ， 我 们 要 想 通 过 图 论 中 的 “三 个 等 式 ” 和 “算法 ”来 确定 流程 中 
的 最 小 线性 无 天 路 径 ， 流 程 需要 遵循 如 下 约定 。 


约定 1 : “流程 图 ”的 “入 口 ” 和 “出 口 ”不 作为 边 数 计算 ， 如 图 4-53 所 示 。 
约定 2 : 一 个 “流程 图 ”只 有 一 个 “入 口 点 ”和 一 个 “出 口 点 ”。 
有 “两 个 输入 ” ( 图 4-54 ) ; 


有 “两 个 输出 ” ( 图 4-55 ) ， 





图 4-53 约定 1 示意 





图 4-55 两 个 输出 


它们 都 不 符合 “约定 2”。 


不 符合 “约定 2”， 可 能 会 使 得 图 论 中 的 三 个 等 式 失 效 。 以 图 4-55 所 示 ( 存在 “两 个 
输出 ” ) 为 例 。 


使 用 等 式 1 : 7 ( 边 数 ) -7 (节点 数 ) +2=2 

使 用 等 式 2 : 2 ( 判定 数 ) +1=3 

使 用 等 式 3 : 1 ( 区 域 数 ) +1=2 

这 样 “ 等 式 2” 和 “等 式 1” “等 式 3” 不 再 等 价 ， 因 此 我 们 也 可 以 通过 这 样 的 方法 ， 
来 判断 当前 的 流程 图 是 否 符合 要 求 。 但 是 我 们 也 不 能 说 只 要 这 三 个 等 式 是 等 价 的 ， 
流程 图 就 没有 问题 。 我 们 来 分 析 一 下 如 图 4-54 所 示 的 流程 图 ， 它 的 三 个 等 式 依然 是 
等 价 的 : 

使 用 等 式 1 : 16 ( 边 数 ) -8 ( 蔬 操 数 ) +2=4 

使 用 等 式 2 : 3 ( 判定 数 ) +1=4 

使 用 等 式 3 : 3 ( 区 域 数 ) +1=4 

如 果 我 们 对 产品 的 业务 功能 建 模 后 ， 绘 出 的 流程 图 确实 存在 “多 个 输入 ”， 或 

者 “多 个 输出 ”， 在 对 其 进行 最 小 线性 无 关 窗 羡 分 析 之 前 ， 我 们 先 要 对 这 个 流程 图 
进行 分 解 ， 使 其 满足 “约定 2”。 这 时 系统 中 最 小 线性 无 天 路 径 的 忆 数 ， 等 于 被 分 解 
的 每 个 流程 中 最 小 线性 无 天 路 径 的 总 和 : 


T= IPn 
n=1 


陈 中 TIP 一 一 系统 中 最 小 线性 无 天 路 径 的 总 和 ; 


IPn 一 一 每 个 流程 的 最 小 线性 无 天 路 径 的 总 和 ; 





系统 被 分 解 后 包含 的 流程 的 个 数 。 


中 


以 图 4-5 所 示 的 流程 图 为 例 ， 我 们 可 以 将 其 拆 分 为 如 图 4-56 所 示 两 个 流程 图 ,保证 


分 解 后 的 流程 图 只 有 “一 个 输入 ”和 “一 个 输出 ”。 
沉 程 1 沉 程 2 





图 4-56 两 个 流程 图 

然后 再 分 别 对 这 两 个 流程 图 进行 最 小 线性 无 关 路 径 分 析 。 
对 “流程 1”， 包含 的 最 小 线性 无 关 路 径 数 为 2 : 
.使 用 等 式 1 : 6 ( 边 数 ) -6 ( 节点 数 ) +2=2 


.使 用 等 式 2 : 1 ( 判定 数 ) +1=2 


.使 用 等 式 3 : 1 ( 区 域 数 ) +1=2 

对 “流程 2”“， 包 含 的 最 小 线性 无 关 路 径 数 为 3 : 
使 用 等 式 1 : 6 ( 边 数 ) -5 ( 节点 数 ) +2=3 
.使 用 等 式 2 : 2 ( 判定 数 ) +1=3 

使 用 等 式 3 : 2 ( 区 域 数 ) +1=3 


整个 系统 包含 的 最 小 线性 无 关 路 径 的 总 数 为 2+3=5 个 ( 而 不 是 之 前 我 们 得 到 的 4 


A 


需要 特别 指出 的 是 ， 对 流程 1， 等 式 2 中 的 判定 数 为 什么 是 1， 而 不 是 2 呢 ? 


让 我 们 来 回忆 一 下 本 节 的 开头 对 “判定 ”的 定义 : 有 一 条 或 多 条 入 边 和 有 两 条 出 边 
的 分 支 节点 。 有 两 条 出 边 是 判定 的 必要 条 件 。 而 流程 1 中 的 d2， 因 为 拆 分 的 原因 ， 只 
有 一 个 出 边 ， 所 以 在 流程 1 中 ，d2 不 是 判定 。 在 流程 1 中 ， 符 合 判定 条 件 的 只 有 d1。 


3 .使 用 路 径 分 析 法 来 设计 基础 测试 用 例 


模型 ， 在 这 里 融 是 流程 图 绘制 好 了 之 后 ， 接 下 来 我 们 就 使 用 路 径 分 析 法 来 覆盖 这 个 
模型 ， 设 计 基 础 测试 用 例 。 


上 一 节 我 们 介绍 了 路 径 分 析 法 中 的 四 种 覆盖 方法 ， 包 括 语句 禾 关 、 分 文 覆 盖 、 全 履 
镭 和 最 小 线性 无 天 覆 盖 。 我 们 可 以 根据 被 测 对 象 的 优先 级 、 测 试 阶段 来 选择 合适 的 
履 兰 委 略 。 一 般 来 况 ， 在 单元 测试 阶段 ， 我 们 会 主要 使 用 语句 履 兰 或 分 叉 覆 关 的 方 
陈 来 设计 测试 用 例 ; 在 集成 测 坛 和 系统 测试 阶段 ， 我 们 会 主要 使 用 最 小 线性 无 天 履 
兰 ; 而 对 其 中 一 些 特别 重要 的 部 分 ， 使 用 全 履 兰 ; 对 一 些 不 那么 重要 的 部 分 ， 使 用 


语句 覆盖 或 分 支 履 芋 。 


接 下 来 我 们 继续 以 “PC 连接 WiFi” 中 的 测试 点 1~ 测 试点 4 为 例 ， 使 用 最 小 线性 无 天 
履 善 的 方式 来 设计 基础 测试 用 例 。 


举例 : 对 “PC 连接 WiFi” 功 能 测试 中 测试 点 1~ 测 试点 4 使 用 最 小 线性 无 天 覆 匡 的 方 
式 来 设计 基础 测试 用 例 


在 上 一 节 中 ， 我 们 已 经 对 测试 点 1 测试 点 4 绘制 了 业务 流程 图 ， 如 图 4-57 所 示 。 


这 个 流程 图 有 “两 个 输出 ”， 按照 上 一 书 的 描述 ， 我 们 需要 将 这 个 流程 图 拆 成 两 
个 


人 六“ 子 流程 图 ”， 保 证 每 个 “ 子 流程 图 ” 均 只 有 “一 个 输入 ”和 “一 个 输出 ”。 


子 流程 1 如 图 4-58 所 示 。 







连接 失败 


构造 连接 
WiFi 的 消息 


加 密 消 息 


连接 成 功 





T 


图 4- 57 业务 流程 图 


构造 连接 
WiFi 的 消息 





入 


图 4-58 子 流程 1 


对 该 “ 子 流程 ”进行 分 析 ， 它 所 包含 的 : 
“ 边 ” 类 : 9 ， 
“节点 ” 数 8 


“判定 ” 数 : 2 ( 注意 ，“ 备 选 WiFi 是 否 可 用 ”和 “连接 成 功 ? ”这 两 个 “判定 ” ， 
在 “ 子 流程 1 中 只 有 “一 个 输出 ”， 不 属于 “判定 ” ) ， 


"区域 ” 数 : 2。 
该 子 流程 包含 的 最 小 线性 无 天 路 径 数 为 3。 


使 用 最 小 线性 无 天窗 盖 中 介绍 的 算法 ， 得 到 该 系统 中 的 最 小 线性 无 关 路 径 的 集合 ， 
见 表 4-16。 


表 4-16 最 小 线性 无 天 路 径 集 合 ( 一 ) 


路 径 描述 ( 基础 测试 用 例 ) 


首选 WiFi 可 用 ,加密 ， 连 接 成 功 





( 续 ) 
序号 路 径 描述 ( 基础 测试 用 例 ) 
2 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 加 密 ， 连 接 成 功 
3 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 成 功 


子 流程 2 如 图 4-59 所 示 。 





连接 失败 


构造 连接 
WiFi 的 消息 


图 4-59 子 流 程 2 


对 该 “ 子 流程 ”进行 分 析 ， 它 所 包含 的 : 
“ 边 ” 数 : 7 
“节点 ” 数 7 


"判定 ' 数 : 1 ( 注意 ， “首选 WiFi 是 否 可 用 ” “是否 加 密 ” 和 “连接 成 功 ? ”这 三 
个 判定”， 在 “ 子 流程 2 ”中 均 只 有 “一 个 输出 。 ,不 属于 估 定 ”) ; 


"区域 ” 数 : 1。 
该 子 流程 包含 的 最 小 线性 无 天 路 径 数 为 2。 


使 用 最 小 线性 无 天 履 羡 中 介绍 的 算法 ， 得 到 该 系统 中 的 最 小 线性 无 天 路 径 的 集合 ， 
见 表 4-17。 


表 4-17 最 小 线性 无 天 路 径 集 合 (二 ) 


序号 路 径 描 述 ( 基础 测试 用 例 ) 
1 首选 WiFi 不 可 用 ， 备 选 WiFi 不 可 用 ， 连 接 失 败 
首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ,不 加 密 ， 连 接 失 败 


综 上 ， 整 个 流程 中 包含 的 最 小 线性 无 天 路 径 数目 为 ?+2=5 条 ， 集 合 见 表 4-18。 


表 4-18 最 小 线性 无 天 路 径 集合 (三 ) 


序号 基础 测试 用 例 
1 首选 WiFi 可 用 ， 加 密 ， 连 接 成 功 
2 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ,加密 ， 连 接 成 功 
3 


首选 WiFi 不 可 用 ， 备 选 WiFi 不 可 用 ， 连 接 失 败 


] 
首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 成 功 
和 
首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 失 败 


ni 


4. 确 定 测试 数据 ， 完 成 测试 用 例 


接 下 来 我 们 需要 为 基础 测试 用 例 选 择 一 些 测试 数据 ( 即 “ 输 入 ” ) ， 使 得 基础 测试 
用 例 中 的 路 径 能 够 被 正确 执行 。 


如 果 流 程 的 “输入 ”是 一 些 参数 ， 我 们 选择 合适 的 参数 值 即 可 ; 如 果 “ 输 入 ”是 一 
个 取 值 学 围 ， 我 们 束 使 用 “等 价 类 /边界 值 ”来 选择 一 个 输入 数据 。 


接 下 来 我 们 继续 为 “PC 连接 WiFi” 中 的 测试 点 1~ 测 试点 4 来 确定 测试 数据 。 


举例 : 对 “PC 连接 wiFi” 功 能 测试 中 测试 点 1~ 测 试点 4 中 的 基础 测试 用 例 确定 测试 
数据 


前 面 我 们 已 经 对 测试 点 1~ 测 试点 4 绘制 了 业务 流程 图 ， 并 根据 流程 图 确定 了 基础 测试 
用 例 ， 如 图 4- 57 所 示 及 见 表 4-18。 


接 下 来 我 们 就 分 别 为 这 些 基础 测试 用 例 来 确认 测试 输入 : 

基础 测试 用 例 1 : 加 密 方式 为 “WPA” ( 根据 “测试 点 5” 选 择 ) ，; 
基础 测试 用 例 2 : 加 密 方式 为 “WPA” ( 根据 “测试 点 5” 选 择 ) ; 
基础 测试 用 例 3 : 无 参数 ， 

基础 测试 用 例 4 : 无 参数 ， 

基础 测试 用 例 5 : 无 参数 。 


当 基 础 测试 用 例 确 定 了 测试 数据 之 后 ， 这些 基础 测试 用 例 束 成 了 测试 用 例 ， 见 表 4- 
19。 


表 4-19 测试 用 例 


序号 测试 用 例 测试 数据 
1 首选 WiFi 可 用 ， 加 密 ， 连 接 成 功 

2 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 加 密 ， 连 接 成 功 

3 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 成 功 

4 首选 WiFi 不 可 用 ， 备 选 WiFi 不 可 用 ， 连 接 失 败 





5 首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 不 加 密 ， 连 接 失 败 


接 下 来 我 们 就 按照 测试 用 例 的 格式 要 求 ， 将 测试 用 例 的 预 置 条 件 、 测 试 步骤 和 预期 
结果 补充 完整 即 可 ( 详 见 4.4.16 节 ) 。 


5 .根据 经 验 补充 测试 用 例 


归根 到 底 ， 最 小 线性 无 天 覆 苹 也 只 是 一 种 策略 宪 芋 ， 从 覆盖 的 角度 来 说 也 是 有 遗漏 
的 。 为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 测试 用 例 ， 例 如 : 


是否 要 增加 一 些 需要 履 盖 的 路 径 ? 

.是否 要 增加 一 些 测试 数 据 ? 

有 哪些 地 方 是 容易 出 问题 的 ， 是 否 还 需要 补充 一 些 测试 用 例 ? 
4.4.5 参数 类 测试 设计 : “输入 一 输出 表 ” 分 析 法 


使 用 四 步 测试 设计 法 对 参数 类 的 测试 点 进行 测试 设计 ， 整 体 方法 如 图 4-66 所 示 。 


使 用 “输入 一 输出 表 ” 


Stepl: 建 模 | 


Step2: 设计 
基础 测试 用 例 


100% 窗 语 


— “输入 一 输出 表 ” 
Step3: 补充 
测试 数据 


Step4: 扩展 ”| 一 其 他 需要 考虑 的 


图 4-66 对 参数 类 的 测试 点 进行 四 步 测试 设计 





1. 使 用 “输入 一 输出 表 ” 来 建 模 


“输入 一 输出 表 ” 是 一 张 分 析 测 试点 在 某 种 条 件 下 ， 特 定 的 “输入 ”会 有 怎样 “ 输 
出 ”的 表 ， 见 表 4- 26。 


表 4-26 输入 一 输出 表 


条 件 输出 
条 件 1 输出 1 
条 件 2 输出 2 





接 下 来 我 们 以 “PC 连接 wiFi” 的 测试 点 5 为 例 ， 使 用 “输入 一 输出 表 ” 来 进行 测试 
建 模 。 


举例 : 对 “PC 连接 WiFi” 中 的 测试 点 5， 使 用 “输入 一 输出 表 ” 进 行 建 模 
“PC 连接 WiFi” 中 的 测试 点 5 ， 见 表 4-21。 


表 4-21 测试 点 5 


编号 测试 点 
_ PC 可 以 设置 加 密 的 WiFi 网 络 的 加 密 算 法 ， 分别 为 WEP、WPA 和 WPA2 (为 了 简化 ， 我 们 约定 
和 


PC 只 能 选择 一 种 加 密 算 法 ) 





我 们 为 测试 点 5 建立 “输入 一 输出 表 ”， 需 要 确定 的 内 容 为 参数 值 和 条 件 。 
测试 点 5 的 参数 为 “安全 性 选择 ”， 包 含 了 3 个 参数 值 : NEP、WPA 和 WPA2。 


根据 上 一 节 中 对 流程 类 测试 设计 的 分 析 ， 我们 知道 测试 点 5 有 两 个 条 件 : “首选 WiFi 
可 用 ， 加密” 和 “首选 WiFi 不 可 用 ， 备 选 WiFi 可 用 ， 加 密 ”。 在 这 里 我 们 任意 选择 
其 中 一 个 条 件 。 


这 样 我 们 就 得 到 了 测试 点 5 的 “输入 一 输出 表 ”， 见 表 4-22。 
表 4-22 测试 点 5 的 输入 一 输出 表 ( 一 ) 


条 件 输出 

首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 

首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 

首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 
上 面 这 个 例子 向 我 们 展示 了 “输入 一 输出 表 ” 的 使 用 方法 ， 却 没有 很 好 地 体现 
出 “输入 一 输出 表 ” 的 优势 一 一 “输入 一 输出 表 ” 特 别 适 合 测 试点 的 多 个 参数 之 间 
存在 相 互 关系 ， 需 要 对 这 些 参 数 进 行 “ 组 合 ” 分 析 的 情况 。 我 们 再 来 看 下 面 这 个 例 
= 


举例 : 使 用 “输入 一 输出 表 ”， 对 “A 系统 中 用 户 、L1 和 L2 认 证 ”功能 进行 测试 建 
模 


“A 系统 ”中 包含 “用 户 ”“L1” 和 “L2” 三 部 分 ， 它 们 之 间 的 关系 如 图 4-61 所 


9 
oo 





图 4-61 A 系统 


“用 户 ” 先 和 “L1” 进 行 “ 身 份 认证 ” ( 右 图 中 “身份 认证 1” ) ; 认证 通过 
后 ，“L1” 再 和 “L2” 进行 “身份 认证 ” ( 右 图 中 “身份 认证 2” ) ; 然 
后 “L2” 再 和 “用 户 ” 进 行 身份 认证 ( 上 图 中 “身份 认证 3” ) 。 


其 中 “用 户 ” 和 “L1” 之 间 ，“L1” 和 “L2” 之 间 支 持 的 身份 认证 方式 均 
为 “PAP” 和 “CHAP”。 两 者 的 认证 方式 必须 一 致 ， 才 能 认证 通过 。 


“用 户 ” 和 “L2” 之 间 支 持 的 身份 认证 方式 也 为 “PAP” 和 “CHAP”“， 但 存在 两 种 
认证 规则 ，“ 强 制 CHAP” 和 “ 重 认 证 ”。 如 果 为 “强制 CHAP”， 用户 的 认证 方式 必 
须 为 “CHAP” 才 能 认证 成 功 ; 如 果 L2 的 认证 方式 为 “ 重 认 证 ”， 用 户 
为 “PAP” 和 “CHAP” 均 可 。 


我 们 首先 对 “A 系统 ”中 “用 户 ”“L1” 和 “L2” 认 证 功能 中 包含 的 参数 进行 分 析 ， 
见 表 4-23。 


表 4-23 A 系统 包含 参数 分 析 表 


认证 方式 (用户) ET 
认证 方式 (L1 ) CHAP 
认证 方 式 (12) CHAP 
用 户 和 2 之 间 的 认证 规则 重 认证 


这 些 参数 之 间 的 “约束 条 件 ” 为 : 


(1 ) 无 论 是 “用 户 ” 和 “1 之 间 ，”“L1” 和 “L2” 之 间 ， 还 是 “用 
户 ” 和 “L2” 之 间 ， 两 者 的 认证 方式 必须 一 致 ， 才 能 认证 通过 ; 


(2)“L2” 为 “强制 CHAP” ， “用户 ”的 认证 方式 必须 为 “CHAP”， 才 能 通过 ; 
( 3 ) “身份 认证 ”的 顺序 为 “身份 认证 1” 一 “身份 认证 2” 一 “身份 认证 3” ; 


(4 ) “身份 认证 1”~“ 喘 份 认证 3”“， 只 要 有 一 个 阶段 认证 失败 ， 整 个 身份 认证 融 
失败 ， 喘 份 认证 失败 后 ， 后 面 的 身份 认证 融 不 会 被 执行 。 

我 们 可 以 对 参数 按照 “ 正 交 ”的 方式 来 进行 组 合 ， 然 后 逐一 对 每 一 种 组 合 ， 按 

照 “ 约 束 条 件 ” 进 行 分 析 ， 去 掉 重 复 的 情况 ， 见 表 4-24 ( “输出 ”中 用 删除 

线 “- ” 删 挥 的 内 容 代表 这 条 测试 项 目 和 表 中 其 他 测试 项 目 重复 ， 可 以 在 “输入 一 
输出 表 ” 的 结果 中 去 挥 ， 具体 原因 在 “说 明 ” 部 分 进行 了 说 明 ) 。 


表 4-24 得 到 的 结果 


| 人 Ee 认证 规则 输出 说 明 
5 (用 户 -L2 ) 
RE | ES 
a 用 户 和 12 认证 时 ， 因 为 用 户 使 用 的 认证 方式 为 PAP 

强制 CHAP | 认证 不 通过 | 而 导致 强制 CHAP 失败 ， 认 证 失败 ( 见 约束 条 件 2 ) 

之 | 认证 方式 不 同 而 认证 失 网 多 
pap | pap | cnap | 强制 cHAp | 认证 不 通过 | 和 本 之 站 因为 认证 方式 不 同 而 认证 失败 ( 见 约 

束 条 件 1 ) 

之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 

Ee PR 二 本 5 和 之 间 因 为 认证 方式 7 同 而 认证 失败 ( 见 


用 户 和 L1l 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 
约束 条 件 1 )， 根 据 约 束 条 件 4， 可 知 它 和 3 重复 

用 户 和 LI1 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 
约束 条 件 1 )， 根 据 约束 条 件 4， 可 知 它 和 3 重复 


pi 用 户 和 LI 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 
ea | me | ene | ae 约束 条 件 1 )， 根 据 约束 条 件 4， 可 知 它 和 3 重复 
es L1 和 1L2 之 间 因 为 认证 方式 不 同 而 认证 失败 ( 见 约 


8 | CHAP | CHAP | CHAP | 强制 CHAP | 认证 通过 | 
? | | 


之 此 认证 方志 不 同 而 认 评 [M2 

» 二 和 入 这 因为 全 方式 不 交 而 认证 关上 ( 

ee 

司 因 为 认证 方式 不 同 而 认 1 ma 

me | ee | ee | 

间 因 为 认证 方式 不 同 而 认证 失败 ( 见 

上 | ss | pp | pe 

之 间 因 为 认证 方式 不 同 而 认 i 见 然 

+ | se | we | rnp | RE ER 

之 i 认证 方式 不 同 而 认 评 先 矶 多 

1 | enne | ene | pe | RE ER 
1 
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我 们 对 表 中 的 内 容 进行 整理 ， 去 掉 重 复 的 项 目 ， 得 到 最 终 的 “输入 一 输出 表 ”， 见 
表 4-25。 


表 4-25 最 终 的 输入 一 输出 表 


认证 方式 (用 户 ) | 认证 方式 (L1 ) | 认证 方式 (L2 ) | 认证 规则 (用 户 -L2 ) 


强制 CHAP 认证 不 通过 
台币 CHAP IE 





2. 履 盖 “ 输 入 一 输出 表 ”， 完 成 测试 用 例 


由 于 我 们 在 建立 “输入 一 输出 表 ” 的 时 候 ， 会 充分 考虑 各 个 参数 之 间 的 关系 和 它们 
的 约束 条 件 ， 并 据 此 进行 了 逐一 的 分 析 ， 所 以 在 覆 攻 “ 输 入 一 输出 表 ” 的 时 候 ,我 
们 会 进行 166% 的 覆盖 ， 即将 “输入 一 输出 表 ” 的 每 一 行 作为 一 个 测试 用 例 。 





接 下 来 我 们 还 是 以 “PC 连接 WiFi” 功 能 测试 中 测试 点 5 为 例 ， 在 已 经 得 到 的 “输入 
一 输出 表 ” 的 基础 上 ， 进一步 得 到 测试 用 例 。 
举例 : 对 “PC 连接 NiFi” 中 的 测试 点 5 根据 “输入 一 输出 表 ” 来 生成 测试 用 例 
测试 点 5 的 “输入 一 输出 表 ” 见 表 4-26。 
表 4-26 测试 点 5 的 输入 一 输出 表 ( 二 ) 
条 件 输出 

首选 WiFi 可 用 ， 加 密 加 密 成 功 ，WiFi 连接 成 功 

首选 WiEI 可 用 ， 加 密 而 密 成 功 ，WiE; 连接 成 功 

首选 WiFi 可 用 ， 加 密 WPA/WPA?2 加 密 成 功 ，WiFi 连接 成 功 

J } } 


] 
首选 WiFi 可 用 ， 加 密 WPA2 咱 密 成 功 ，WiFi 连接 成 功 


我 们 将 该 表 中 的 每 一 行 作为 
试用 例 标题 ) ， 见 表 4-27。 








个 测 斌 用例， 略微 整理 后 得 到 4 个 测试 用 例 ( 只 给 出 测 


表 4-27 测试 用 例 


测试 用 例 编号 测试 用 例 标题 
1 首选 WiFi 可 用 ,使 用 “WEP” 加 密 ，WiFi 连接 成 功 
有 首选 WiFi 可 用 ,使 用 “WPA” 加 密 ，WiFi 连接 成 功 
:| 首选 WiFi 可 用 ,使 用 “WPA/WPA2” 加 密 ，WiFi 连接 成 功 
和 首选 WiFi 可 用 ,使 用 “WPA2” 加 密 ，WiFi 连接 成 功 


同样 ， 对 “A 系 统 中 用 户 、L1 和 L2 认 证 ”这 个 例子 ， 我 们 也 对 得 到 的 “输入 -输出 
表 ” 来 生成 测试 用 例 。 


举例 : 对 “A 系 统 中 用 户 、L1 和 L2 认 证 ”的 “输入 一 输出 表 ” 来 生成 测试 用 例 
对 A 系 统 中 用 户 、L1 和 L2 认 证 ， 我 们 得 到 的 “输入 一 输出 表 ” 见 表 4-28。 


表 4-28 输入 一 输出 表 


1 强制 CHAP 认证 不 通过 (强制 CHAP 失败 ) 
i 


我 们 将 表 4-28 中 的 每 一 行 作为 一 个 测试 用 例 ， 略 微 整理 、 组 织 语言 后 得 到 6 个 测试 用 
例 ( 只 给 出 测试 用 例 标题 ) ， 见 表 4- 29。 
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表 4-29 得 到 的 6 个 测试 用 例 


测试 用 例 编号 测试 用 例 标题 


“用 户 ” 使 用 “PAP”,“L1” 使 用 “PAP”,“L2” 使 用 “PAP”, 在 “强制 CHAP” 下 进行 身份 


1 


认证 测试 
i “用 户 ” 使 用 “PAP”,“L1” 使 用 “PAP”“L2” 使 用 “CHAP”， 在 “强制 CHAP” 下 进行 身 
四 份 认证 测试 
j 户 ”使 用 “PAP”,“L1” 使 用 “CHAP”,“L2” 使 用 “PAP”,， 在 “强制 CHAP” 下 进行 身 
- 份 认证 测试 

晶 户 ”使 用 “CHAP”,“L1” 使 用 “CHAP”,“L2” 使 用 “CHAP”， 在 “强制 CHAP” 下 进行 

4 i 

身份 认证 测试 
“用 户 ” 使 用 “PAP”,“L1” 使 用 “PAP”,“L2” 使 用 “PAP”， 在 “ 重 认 证 ”下 进行 身份 认证 
测试 
“用 户 ” 使 用 “CHAP”,“L1” 使 用 “CHAP”,“L2” 使 用 “CHAP”， 在 “ 重 认 证 ”下 进行 身份 

认证 测试 


3 .根据 经 验 补充 测试 用 例 
为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 测试 用 例 ， 例 如 : 
是否 需要 考虑 一 些 别 的 “条 件 ” ，” 

有 哪些 地 方 是 容易 出 问题 的 ， 是 否 还 需要 补充 一 些 测试 用 例 ? 


4.4.6 数据 类 测试 设计 : 等 价 类 和 边界 值 分 析 法 


使 用 四 步 测试 设计 法 对 数据 类 的 测试 点 进行 测试 设计 ， 整体 方法 如 图 4-62 所 示 。 


Step2: 设计 基础 测试 用 例 


Step3: 补充 测试 数据 





Step4: 扩展 et 其 他 需要 考虑 的 


图 4-62 对 数据 类 测试 点 进行 四 步 测试 设计 


.等 价 类 和 边界 值 


卢 


等 价 类 是 指 对 输入 值 按 照 测试 效果 进行 划分 ， 将 测试 效果 相同 的 测试 数据 归 为 一 
, 然后 在 测试 时 只 需要 在 每 类 中 选择 一 些 测试 样本 来 进行 测试 ， 而 无 须 测试 所 有 
的 值 。 


边界 值 是 参数 在 输入 边界 上 的 取 值 。 


类 和 边界 值 常 党 结合 在 一 起 使 用 : 我 们 首先 对 “输入 ”进行 等 价 类 划分 ， 然 后 
再 将 每 个 等 价 类 的 边界 值 作为 测试 的 样本 点。 


例如 ， 某 参数 A 的 取 值 范围 为 [1 ，16]。 我 们 先 按照 “等 价 类 ”将 参数 划分 为 有 效 等 
价 类 和 无 效 等 价 类 两 大 类 ; 然后 再 使 用 “边界 值 ”来 为 每 个 等 价 类 选择 测试 样本 ; 

这 样 在 测试 的 时 候 ， 我 们 只 需 使 用 “1” “16” “8” “11” 作 为 输入 进行 测试 即 

可 。 


有 了 时候， 我 们 还 会 在 “有 效 等 价 类 ”中 选 一 个 “不 是 位 于 边界 ”的 样本 点， 如 本 例 


中 的 “3”， 这 时 我 们 的 “等 价 类 分 析 表 ”就 变 成 了 : 








有 效 等 价 类 无 效 等 价 类 
[1，10] A 于 工 或 大 于 10 
有 效 等 价 类 无 效 等 价 类 
1，10 WW 
有 效 等 价 类 无 效 等 价 类 
3 0，11 





使 用 “等 价 类 ”和 “边界 值 ” 来 进行 测试 设计 的 优势 在 于 ， 它 们 婚 能 控制 测试 的 规 
模 ， 还 能 有 效 地 友 现 产品 的 缺陷 一 “边界 值 ”本 身 融 是 基于 开 上 友 在 设计 时 对 边界 
的 处 理 容 易 出 问题 而 提出 的 。 但 “等 价 类 ”和 “边界 值 ”也 是 一 把 双 刃 剑 : “如 果 
我 们 没有 正确 地 划分 等 价 类 ， 或 是 为 了 减少 测试 用 例 的 数量 而 过 大 划分 等 价 类 ， 都 
很 容易 造成 测试 遗漏 ， 留 下 测试 隐患 。” 因 此， 软件 测试 架构 师 需 要 在 测试 方案 或 
测试 用 例 评审 中 ， 检 查 团队 ( 特别 是 初 涉 软件 测试 者 ) 对 “等 价 类 ”的 划分 情况 。 


2 .使 用 “等 价 类 分 析 表 ”来 建 模 


“等 价 类 分 析 表 ”是 一 张 对 数据 在 “x x 条 件 下 ” ，“ 有 效 输入 ”和 “无 效 输入 ” 进 
了 分 析 的 表 ， 见 表 4-36。 


表 4-36 等 价 类 分 析 表 


条 件 无 效 等 价 类 条 无 效 等 价 类 

条 件 1 有 效 等 价 类 1 无 效 等 价 类 1 条 件 有 效 等 价 类 4 无 效 等 价 类 3 
有 效 等 价 类 2 无 效 等 价 类 2 有 效 等 价 类 5 无 效 等 价 类 4 
有 效 等 价 类 3 有 效 等 价 类 6 











有 时 候 ， 不 同 的 条 件 下 可 能 会 出 现 有 效 等 价 类 相同 、 无 效 等 价 类 相同 或 有 效 等 价 类 

和 无 效 等 价 类 都 相同 的 情况 ( 以 “有 效 等 价 类 ”相同 为 例 ) ， 而 且 测 试 的 输出 也 相 
见 表 4-31。 

我 们 可 以 将 相同 的 等 价 类 分 配 到 不 同 的 条 件 中 去 ， 以 减少 测试 用 例 的 数量 ， 见 表 4- 

32 ( 以 “有 效 等 价 类 ”相同 为 例 ) 。 


表 4-31 有 效 等 价 类 相同 


条 件 有 效 等 价 类 无 效 等 价 类 


条 件 1 有 效 等 价 类 无 效 等 价 类 1 
有 效 等 价 类 : 无 效 等 价 类 
有 效 等 价 类 

条 件 2 | 有 效 等 价 类 1 | 无 效 等 价 类 3 
有 效 等 价 类 无 效 等 价 类 4 
有 效 等 价 类 


hi- 





表 4-32 将 相同 等 价 类 分 配 到 不 同 的 条 件 中 


条 件 无 效 等 价 类 
条 件 1 有 效 等 价 类 无 效 等 价 类 1 

有 效 等 价 类 2 | 无效 等 价 类 
条 件 2 有 效 等 价 类 无 效 等 价 类 3 
无 效 等 价 类 4 


[S| 





接 下 来 我 们 以 “WiFi 上 可 以 修改 wiFi 网 络 的 默认 名 称 ”为 例 ， 进 行 测试 建 模 。 


举例 : 对 “WiFi 上 可 以 修改 wiFi 网 络 的 默认 名 称 ” 的 测试 点 ， 使 用 “等 价 类 分 析 
表 ” 进 行 建 模 


“WiFi 上 可 以 修改 WiFi 网 络 的 黑 认 名 称 ” 包 含 的 测试 点 ， 见 表 4-33。 


表 4-33 包含 的 测试 点 





编号 测试 点 
可 以 通过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 和 和 
( 续 ) 
编号 测试 点 
2 PC 连接 成 功 后 ， 可 以 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 
3 WiFi 网 络 支持 的 名 称 为 : 1 一 10 个 字符 ， 人 允许 输入 “字母 “数字 ”和 和“ 下划线”， 不 允许 其 他 的 输入 


我 们 为 测试 点 3 建立 等 价 类 分 析 ， 需 要 确定 的 内 容 为 有 效 等 价 类 和 无 效 等 价 类 。 


本 例 中 ， 有 效 等 价 类 为 系统 能 够 允许 的 网 络 命 名 ， 包含 两 个 因素 : “名 字 的 长 
度 ” 和 “命名 规划”。 系 统 允 许 的 网 络 命名 ，“ 名 字 长 度 ” 为 “1~16” 个 字符 , 且 
只 包含 “字母” “数字 ”和 和“ 下划线” ; 不 允许 的 是 “名 字 长 度 ” 不 在 “1~16” 的 


范围 ， 或 者 名 字 中 包含 除了 “字母 ”“ 数 字 ” 和 “下 划 线 ”之 外 的 其 他 输入 。 


再 考虑 测试 点 1 和 测试 点 2 为 测试 点 3 的 测试 条 件 ， 我 们 得 到 的 等 价 类 分 析 表 ， 见 表 4- 
34。 


表 4-34 等 价 类 分 析 表 
测试 条 件 有 效 等 价 类 无 效 等 价 类 


通过 WiFi 的 管理 口 直接 登录 | ”名字 长 度 为 “1 一 10"， 且 只 包 | ,,  ， 、、 yp 

ed Wd eg Po ni 名 字 长 度 为 空 (小 于 1 个 字符 ) 

到 WiFi 上 修改 WiFi 网 络 的 名 称 | 含 “ 字 母 "“ 数 字 ” 和 “下 划 线 
RT 
| | 名 字 中 包 合 除 了 “下 划 线 ”之 外 的 特殊 符号 
EE 名 字 中 包含 了 中 文字 符 

通过 PC 连接 成 功 后 ， 登 录 到 名 字 长 度 为 “1 一 10”， 且 只 包 i . ji 
ee 人 | 名 字 长 度 为 空 (小 于 1 个 字符 ) 

WiFi 上 修改 WiFi 网 络 的 名 和 含 “ 字 母 ” a 和 下 划 线 
EE 
| -| 名 字 中 包 售 除了“ 下划线” 之 外 的 特殊 符号 
| "| 和 名字 中 包含 了 中 文字 符 








显然 ， 在 两 种 条 件 下 ， 有 效 等 价 类 和 无 效 等 价 类 都 是 一 样 的 ， 并 且 相 应 的 输出 也 是 
一 样 的 。 我 们 可 以 对 上 述 等 价 类 分 析 表 进行 合并 简化 ， 见 表 4-35。 


表 4-35 合并 简化 等 价 类 分 析 表 
测试 条 件 有 效 等 价 类 无 效 等 价 类 


通过 WiFi 的 管理 口 直 接 登 录 到 名 字 长 度 为 “1 一 10"， 且 只 包含 WE OR | A 
WiFi 上 修改 WiFi 网 络 的 名 称 “字母 “数字 ”和 “下 划 线 " TT 
| | 名 字 长 度 大 于 10 个 字符 
通过 PC 连接 成 功 后 ， 登 录 到 WiFi | 名字 长 度 为 “1 ~ 10”"， 且 只 包含 | 名字 中 包含 除了 “下 划 线 ”之 外 的 
上 修改 WiFi 网 络 的 名 称 字母“ 数字” 和“ 下划线” 特殊 符号 


| 








需要 特别 指出 的 是 ， 本 例 中 包含 了 两 个 因素 ，“ 名 字 长 度 ” 和 “名 字 规 则 ”。 在 确 
定 有 效 等 价 类 时 ， 我 们 并 没有 将 这 两 个 因素 分 开 来 考虑 : 


有 效 等 价 类 
和 名字 长 度 为 “1 一 10” 
只 包含 “字母 ”数字 ”和 “下 划 线 ” 


而 是 将 不 同 因素 的 “有 效 值 ” 放 在 一 起 来 考虑 的 : 


有 效 等 价 类 
名 字 长 度 为 “1 ~ 一 10"”， 且 只 包含 
字 ” 和 “下 划 线 ” 


' 字 母 ”" 数 


这 是 在 等 价 类 划分 中 ， 可 以 减少 测试 项 目的 一 个 技巧 。 


一 本 


但 是 这 个 技巧 并 不 适合 无 效 等 价 类 。 对 无 效 等 价 类 而 言 ， 必 须 是 针对 单个 因素 的 ， 


并 且 不 能 合并 ， 例 如 ， 下 列 无 效 等 价 类 的 划分 融 是 错误 的 : 
它 合 并 了 “名 字 长 度 ” 和 “名 字 规 则 ”中 的 无 效 等 价 类 “名 字 长 度 大 于 16 个 字 


As 号 7/ 
o 


符 ” 和 “包含 除了 下 划 线 ”之 外 的 特殊 符号 


无 效 等 价 类 
名 字 长 度 大 于 10 个 字符 ， 并 包含 除了 “下 划 


线 ” 之 外 的 特殊 符号 
3 . 履 羡 等 价 类 分 析 表 完成 测试 用 例 
我 们 在 建立 等 价 类 分 析 表 的 时 候 ， 已 经 对 输入 数据 分 好 了 类 。 接 下 来 我 们 惑 需要 对 
“边界 值 ”分 析 ， 确 定 具体 的 测试 数据 ， 生 成 测试 用 例 |。 


这 些 分 析 好 的 等 价 类 进行 


接 下 来 我 们 继续 以 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 为 例 ， 在 已 经 得 到 的 等 
价 类 分 析 表 的 基础 上 ， 进 一 步 得 到 测试 用 例 。 


举例 : 对 “WiFi 上 可 以 修改 WiFi 网 络 的 默认 名 称 ” 的 测试 点 ， 根 据 等 价 类 分 析 表 来 
生成 测试 用 例 


测试 点 6 的 等 价 类 分 析 表 ， 见 表 4-36。 
表 4-36 测试 点 6 的 等 价 类 分 析 表 


测试 条 件 有 效 等 价 类 无 效 等 价 类 
通过 WiFi 的 管理 口 直接 登录 到 和 名字 长 度 为 “1 一 10”， 且 只 包含 Se gt 
a :Fr ohe tt A We » tp yy 名 字 长 度 为 空 (小 于 1 个 字符 ) 
WiFi 上 修改 WiFi 网 络 的 名 称 字母 "“ 数 字 ” 和 “下 划 线 


名 字 长 度 大 于 10 个 字符 


测试 条 件 无 效 等 价 类 
通过 PC 连接 成 功 后 ， 登 录 到 WiFi | ”名字 长 度 为 “1 ~ 10”"， 且 只 包含 | 名字 中 包含 除了 “下 划 线 ”之 外 的 
上 修改 WiFi 网 络 的 名 称 “字母 “数字 ”和 “下 划 线 ” 特殊 符号 
名 字 中 包含 了 中 文字 符 





然后 我 们 为 表 中 的 每 个 等 价 类 来 确定 “边界 值 ”， 见 表 4-37 和 表 4-38 ( 暂 不 考虑 测 
试 条 件 ) 。 


表 4-37 为 有 效 等 价 类 确定 边界 值 


有 效 等 价 类 谨 明 
名 字 长 度 为 1， 下 划 线 
名 字 长 度 为 10， 字 母 、 数 字 和 下 划 


Acz0l239 | ，， 
”| 线 的 组 合 





表 4-38 为 无 效 等 价 类 确定 边界 值 


无 效 等 价 类 说 明 
不 输入 名 字 名 字 长 度 为 空 (小 于 1 个 字符 ) 
Abcz01239 4 | ”名 字 长 度 大 于 10 个 字符 


名 字 中 包含 除了 了 “下划线 ”之 外 的 


# - 工厂- 户 A- 
特殊 符号 
哈 名 字 中 包含 了 中 文字 符 


然后 将 测试 条 件 和 确定 好 输入 值 的 等 价 类 进行 组 合 ， 最 后 得 到 表 4-39。 
表 4-39 组 合 后 的 表 
测试 条 件 无 效 等 价 类 


通过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 不 输入 名 字 


通过 PC 连接 成 功 后， 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 Abcz01239 = 
| 


个 测试 用 例 ， 略 微 整理 后 得 到 6 个 测 





我 们 将 该 表 中 的 测试 条 件 和 每 一 个 输入 值 作为 
试用 例 ( 只 给 出 测试 用 例 标题 ) ， 见 表 4-46。 


表 4-46 得 到 的 测试 用 例 


测试 用 例 编 号 测试 用 例 标题 


1 征 过 WiFi 的 管理 口 直 接 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “ ” 

2 通过 PC 连接 成 功 后 ， 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “Abcz01239 ” 

3 通过 WiFi 的 管理 口 直接 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “ 空 ” 

4 通过 WiFi 的 管理 口 直接 登录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “ A 
5 通过 PC 连接 成 功 后 ， 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “#' 

6 通过 PC 连接 成 功 后 ， 登 录 到 WiFi 上 修改 WiFi 网 络 的 名 称 为 “ 哈 ” 


4. 根 据 经 验 补充 测试 用 例 

为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 测试 用 例 ， 例 如 : 
是否 要 在 “等 价 类 ”中 增加 一 些 除 “边界 值 ”之 外 的 测试 数据 ? 
有 哪些 地 方 是 容易 出 问题 的 ， 是 否 还 需要 补充 一 些 测试 用 例 ? 
4.4.7 组 合 类 测试 设计 : 正 交 分 析 法 


使 用 四 步 测试 设计 法 对 组 合 类 的 测试 点 进行 测试 设计 ， 整体 方法 如 图 4-63 所 示 。 


Step2: 设计 


基础 测试 用 例 让 
使 用 “ 正 交 分 析 法 ” 
来 生成 测试 用 例 


Step3: 补充 
测试 数据 





图 4-63 对 组 合 类 的 测试 点 进行 四 步 测试 设计 
1. 使 用 “因子 表 ” 来 建 模 


“因子 表 ” 是 一 张 分 析 测 试点 需要 考虑 哪些 方面 ， 并 且 这 些 方面 需要 包含 哪些 内 容 
的 表 ， 见 表 4-41。 


表 4-41 因子 表 


ET EE Er 


如 果 因子 的 取信 和 是 一 个 数据 类 型 ， 我们 可 以 使 用 等 价 类 和 边界 值 的 方法 来 确定 因子 
的 取 值 。 





有 时 候 ， 因 子 之 间 可 能 存在 一 定 的 约束 天 系 。 例 如， 因子 A 取 值 为 A1 的 时 候 ， 因 子 B 
只 能 取 值 为 B1 ; 因子 A 取 值 为 A2 的 时 候 ， 因 子 B 只 能 取 值 为 B2、B3、B4， 这 时 我 们 需 
要 将 其 拆 开 ， 建 立 两 张 因子 表 。 


因子 A 取 值 为 A1 时 的 因子 表 ， 见 表 4-42。 
因子 A 取 值 为 A2 时 的 因子 表 ， 见 表 4-43。 


表 4-42 因子 A 取 值 为 A1 时 的 因子 表 


RF 





表 4-43 因子 A 取 值 为 A2 时 的 因子 表 


RF | RF 





然后 对 这 两 张 表 ， 分 别 进行 测试 用 例 设计 。 


接 下 来 我 们 以 “PC 连接 WiFi” 的 测试 点 1~ 测 试点 5 为 例 ， 使 用 因子 表 来 进行 测试 建 
模 。 


举例 : 对 “PC 连接 WiFi” 的 测试 点 1~ 测 试点 5 使 用 因子 表 来 建立 测试 模型 
“PC 连接 WiFi” 这 个 功能 包含 的 测试 点 ， 见 表 4-12。 
首先 我 们 来 分 析 一 下 这 些 测试 中 包含 的 因子 : 


从 测试 点 1 和 测试 点 2 中 ， 我 们 可 以 提取 出 因子 1 : “WiFi 网 络 选择 ”。 该 因子 的 取 
值 为 “首选 WiFi 网 络 ”和 “ 备 选 WiFi 网 络 ”。 


从 测试 点 3 和 测试 点 4 中 ， 我 们 可 以 提取 出 因子 2 : “是 否 加 密 ”。 该 因子 的 取 值 


为 “加 密 ” 和 “不 加 密 ”。 


从 测试 点 5 中 ， 我 们 可 以 提取 出 因子 3 : “加 密 算法 ”。 访 因子 的 取 值 
为 “NEP” “WPA” 和 “WPA2”。 


测试 点 1~ 测 试点 4 中 还 隐藏 了 一 个 因子 4 : “连接 WiFi 是 否 成 功 ”。 该 因子 的 取 值 
为 "成功 ”和 “不 成 功 ”。 


由 于 因子 2 和 因子 3 存在 “约束 关系 ”， 只 有 在 因子 2 选择 为 “加 密 ” 的 情况 下 ， 因子 
3 才 有 效 ， 我 们 为 此 建立 两 个 因子 表 : 

(1 ) “因子 2” 为 “加 密 ” 情 况 下 的 因子 表 ( 表 4-44 ) 。 

表 4-44 因子 2 为 加 密 的 因子 表 

ETREETZ 


首选 WiFi 网 络 加 密 V 成 功 
2 备 选 WiFi 网 络 7P/ 不 成 功 





( 2 ) “因子 2” 为 “不 加 密 ” 情 况 下 的 因子 表 ( 表 4-45 ) 。 
表 4-45 因子 2 为 不 加 密 的 因子 表 
因子 3: 加密 算法 因子 4: 连接 WiFi 是 否 成 功 


1 首选 WiFi 网 络 “加密 Wi 威 功 
迁 WiFi 风 络 | Sy 





hi 


2. 使 用 “PICT 工 具 ” 来 生成 测试 用 例 


“PICT 工 具 ” 是 针对 “Pairwise Testing” 实 现 的 测试 用 例 设 计 工 具 。 通 过 它 ， 
我 们 可 以 直接 将 “ 正 交 表 ” 转 换 为 测试 用 例 。 “Pairwise Testing” 译 为 中 文 


为 “成 对 测试 ”， 是 一 种 正 交 分 析 的 测试 扩 术 。 “Pairwise Testing” 能 够 履 兰 因 
子 取 值 的 所 有 的 两 两 组 合 ( 这 样 覆 凑 的 原因 是 ， 通 过 对 缺陷 的 统计 分 析 ， 我 们 皮 

现 ， 相 对 于 多 个 因子 的 组 合 ， 大 部 分 的 问题 能 够 通过 因子 的 两 两 组 合 来 友 现 ， 多 个 
因子 的 组 合 仅 会 友 现 少量 的 问题 ， 但 是 测试 的 投入 却 是 巨大 的 ， 因 此 ， 相 对 来 说 两 
两 组 合 可 以 更 有 效 地 上 友 现 缺陷 ) 。 


可 以 在 http://www.pairwise.org/tools.asp 处 下 载 PICT 工 具 ( Pict. exe、 
PICTHelp.htm ) 。 


PICT 工 具 文 持 Windows 操 作 系统 。 下 载 成 功 后 ， 我 们 将 PICT 工 具 解 压 后 放 在 c : 
\PICT 目 录 下 。 


假设 我 们 现在 需要 分 析 的 因子 表 为 表 4-46。 


表 4-46 要 分 析 的 因子 表 


EE EE | ee 


我 们 先 将 因子 表 按 照 下 述 格式 写 入 文件 “c : \PICT\test.txt” 中 : 





Factor A: A1 ,A2 ; Factor B:B1,B2,B3; Factor C:C1，C2 ，C3 ，C4 ; 


Factor D : D1，, D2，, D3 ; 然后 在 D0s 中 调用 PICT 运 行 这 个 文件 : 


C:\Windows\System32>c : \PICT\pict c : \PICTANtest .txt>c : 


\PICT\testcase.xils 


PICT 工 具 就 能 帮 我 们 按照 Pairwise 的 规则 ， 自动 组 合 因 子 的 取 值 ， 并 将 结果 保存 在 
c : \PICT 的 testcase.xls 中 ， 见 表 4-47。 


表 4-47 PICT 工 具 自 动 处 理 后 的 结果 


Er en RCR 本 
| | | 











我 们 只 需 将 表 中 的 每 一 行 


个 测试 用 例 即 可 。 


接 下 来 我 们 以 “PC 连接 WiFi” 的 测试 点 1~ 测 试点 5 的 因子 表 为 例 ， 使 用 PICT 工 具 来 
设计 测试 用 例 。 


举例 : 对 “PC 连接 WiFi” 的 测试 点 1~ 测 试点 5 的 因子 表 使 用 PICT 工 具 来 生成 测试 用 
例 


上 一 节 中 我 们 已 经 分 析 得 到 了 “PC 连接 WiFi” 的 测试 点 1~ 测 试点 5 的 因子 表 为 : 
( 1) “因子 2” 为 “加 密 ” 情 况 下 的 因子 表 ， 见 表 4-48。 


表 4-48 因子 2 为 加 密 的 因子 表 


Uy hi —— 


(2) 


表 4-49 因子 2 为 不 加 密 的 因子 表 
因子 1: WiFi 网 络 选择 因子 2: 是 否 加 密 | 因子 3: 加 密 算法 
AR | 


接 下 来 我 们 使 用 PICT 工 具 ， 按 照 本 节 


hi 


首选 WiFi 网 经 
备 选 WiFi 网 络 


首选 WiFi 网 络 
备 选 WiFi 网 络 


得 到 的 结果 如 下 : 


(1) 


表 4-56 因子 2 为 加 密 的 Pairwise 表 


(2) 


表 4-51 因子 2 为 不 加 密 的 Pairwise 表 


备 选 WiFi 网 络 
首选 WiFi 网 络 
备 选 WiFi 网 络 


“因子 2” 为 “不 加 密 ” 


“因子 2” 为 “不 加 密 ” 情 况 下 的 因子 表 ， 见 表 4-49。 


因子 1: WiFi 网 络 选择 


备 选 WiFi 网 络 
首选 WiFi 网 经 
首选 WiFi 网 乡 


因子 1: WiFi 网 络 选 择 | 因子 2: 是 否 加 密 | 因子 3: 加 密 算法 








“因子 2” 为 “加 密 ” 情 况 下 的 Pairwise 表 ， 见 表 4-56。 


因子 3: 加 密 算法 


WPA 
WEP 
WPA2 


因子 3: 加 密 算法 


WEP 
WPA 
WPA2 


情况 下 的 Pairwise 表 ， 见 表 4-51。 





因子 4: 连接 WiFi 是 否 成 功 


成 功 
不 成 功 


因子 4: 连接 WiFi 是 否 成 功 


成 功 
不 成 功 


介绍 的 方法 ， 分 别 对 这 两 个 正 交 表 进 行 分 析 ， 


因子 4: 连接 WiFi 是 否 成 功 


不 成 功 
成 功 
成 功 


VNSY 
Xt 
— 


因子 4: 连接 WiFi 是 否 成 功 


不 成 功 
成 功 
不 成 功 


是 否 成 功 是 否 成 功 
1 首选 WiFi 网 络 首选 WiFi 网 络 不 成 功 
备 选 WiFi 网 络 备 选 WiFi 网 络 成 功 
接 下 来 我 们 就 可 以 合并 这 两 张 Pairwise 表 ， 得 到 测试 用 例 ( 只 给 出 测试 用 例 标 
题 ) ， 见 表 4-52。 


因子 1: WiFi 网 络 选择 | 因子 4: 连接 WIR | 


hi 





表 4-52 合并 后 的 测试 用 例 


测试 用 例 编号 测试 用 例 标题 
1 使 用 备 选 WiFi 网 络 ，WPA 加 密 ， 连 接 不 成 功 
2 使 用 首选 WiFi 网 络 ，WEP 加 密 ， 连 接 成 功 
3 使 用 备 选 WiFi 网 络 ，WPA2 加 密 ， 连 接 成 功 
4 使 用 备 选 WiFi 网 络 ，WEP 加 密 ， 连 接 不 成 功 
5 使 用 首选 WiFi 网 络 ，WPA 加 密 ， 连 接 成 功 
6 使 用 首选 WiFi 网 络 ，WPA2 加 密 ， 连 接 不 成 功 
使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 
8 使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 
9 使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 
10 使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 


3 .根据 经 验 补 充 测 试用 例 

为 了 让 测试 更 有 效 ， 我 们 可 以 根据 经 验 再 补充 一 些 测试 用 例 ， 例 如 : 
是 否 需 要 增加 因子 取 值 的 组 合 ? 

有 哪些 地 方 是 容易 出 问题 的 ， 是 否 还 需要 补充 一 些 测试 用 例 ? 
4.4.8 控制 用 例 粒 厦 : 测试 点 的 组 合 和 拆 分 


软件 测试 架构 师 在 测试 设计 中 除了 为 整个 团队 在 测试 设计 的 方法 上 提供 指导 外 ， 还 
有 一 项 十 分 重要 的 工作 ， 融 是 控制 用 例 粒度 。 


1 .控制 用 例 粒度 


用 例 粒 度 是 对 测试 用 例 是 精细 还 是 花 统 地 描述 测试 点 的 通俗 况 法 。 测 试用 例 越 聚焦 
到 一 个 功能 点 上 ， 这 个 功能 氮 越 小 越 细 ， 用 例 粒度 融 越 细 ; 有 反之， 如 果 一 个 测试 用 
例 包 含 了 比较 多 的 功能 点 ， 这 个 测试 用 例 的 用 例 粒 大 残 会 比较 粗 。 


一 般 训 来， 用 例 粒 度 细 的 测试 用 例 ， 更 容易 友 现 产品 在 设计 上 的 问题 ， 但 是 如 果 整 
个 测试 团队 的 用 例 粒 度 都 很 细 ， 那么 需要 测试 的 测试 用 例 束 会 比较 多 ， 给 测试 进 
度 、 测 试 投入 和 测试 用 例 的 编写 与 维护 等 市 来 不 少 问 题 。 而 用 例 粒 度 粗 的 测试 用 
例 ， 更 容易 上 友 现 产品 在 系统 上 、 设 计 上 、 功 能 交互 上 和 需求 方面 的 问题 ， 但 是 如 果 
整个 测试 团队 的 用 例 粒度 都 很 得， 虽然 测试 用 例 的 数目 可 能 会 少 很 多 ， 但 我 们 又 有 
可 能 漏 近 很 多 功能 设计 上 的 细节 问题 ， 影 响 产 品质 量 。 


所 以 对 软件 测试 架构 师 来 说 ， 控 制 用 例 粒度 ， 绝 对 是 在 测试 设计 中 非常 重要 的 一 项 
工作 。 


控制 用 例 粒 度 ， 意 味 痢 我 们 要 做 以 下 两 件 事 。 


第 一 ， 我 们 希望 整个 团队 的 测试 用 例 的 忌 数 维持 在 一 个 比较 合理 的 范围 内 ， 同 时 很 
好 地 达到 测试 验证 产品 的 效果 ， 这 残 需要 我 们 控制 测试 用 例 的 源头 一 一 测试 点 : 让 
测试 点 不 要 过 粗 或 者 过 细 。 如 果 测 试点 过 粗 或 过 细 ， 我 们 融 要 去 拆 分 或 者 组 合 它 ， 
保证 设计 出 来 的 测试 用 例 粒度 比较 统一 。 

这 时 我 们 使 用 四 步 测 试 设计 法 的 优势 束 淋 注 尽 致 地 展现 出 来 了 : 对 这 些 拆 分 或 组 合 
后 的 测试 点 ， 我 们 还 可 以 找到 适合 的 测试 点 类 型 ， 还 能 够 找到 合适 的 测试 设计 方 
法 ， 如 图 4-64 所 示 。 


组 合 类 测试 点 


数据 类 测试 点 





图 4-64 四 步 测试 设计 法 优势 


这 也 使 得 我 们 的 测试 设计 变 得 更 为 灵活 、 更 有 技巧 性 。 


第 二 ， 不 同 的 用 例 粒 度 ， 可 能 会 太 现 产品 不 同 层次 的 问题 ( 细 粒 度 的 用 例 可 能 更 容 
易 友 现 产品 功能 的 设计 和 实现 方面 的 问题 ， 而 粗 粒 度 的 用 例 可 能 更 容易 从 系统 的 角 
度 去 友 现 一 些 功能 交互 或 是 需求 方面 的 问题 ) ， 所 以 我 们 需要 在 不 同 的 测试 阶段 ， 
对 测试 点 进行 一 些 拆 分 或 组 合 ， 以 求 可 以 从 不 同 的 层次 去 测试 产品 ， 友 现 问 题 ， 见 


表 4-53。 
表 4-53 对 测试 点 拆 分 或 组 合 


集成 测试 阶段 系统 测试 阶段 


用 例 粒度 相对 细 相对 粗 


集成 测试 阶段 系统 测试 阶段 


相对 多 使 用 流程 类 、 数 据 类 和 参数 类 的 测试 设 | ”相对 多 使 用 组 合 类 的 测试 设计 方法 ， 


测试 设计 方法 | 、，、、， 、、 - et RE et ld 
ji 全 | 计 方 法 ,减少 对 组 合 类 的 使 用 类 、 数 据 类 和 参数 类 的 使 用 





2 . 集 略 覆盖 


还 有 一 种 控制 测试 用 例 粒度 的 方法 ， 丈 是 策略 获 攻 。 


减少 流程 


在 测试 设计 时 ， 我们 经 常会 遇 到 这 样 的 情况 : 


-有些 因 子 ， 如 操作 系统 、 平 台 等 ， 除 了 那些 可 以 分 析 到 的 对 系统 有 影响 的 地 方 之 
外 ， 对 系统 的 其 他 功能 可 能 没有 影响 、 影 响 很 弱 或 者 影响 未 知 ， 没 有 必要 使 用 


Pairwise 来 进行 正 交 。 


有些 数 据 类 的 测试 点 ， 比 如 融 是 测试 一 个 名 称 ， 测 试点 比较 细 ， 但 是 忌 和 其 他 的 测 
试点 可 能 没有 关系 或 者 关系 很 弱 ， 也 没有 必要 使 用 Pairwise 来 做 正 交 。 


这 时 我 们 束 可 以 考虑 使 用 策略 秦 盖 的 万 式 ， 将 这 些 因子 或 数据 的 取 值 ， 分 配 到 其 他 
测试 用 例 中 ， 作 为 其 他 测试 用 例 的 测试 数据 输入 或 者 是 测试 条 件 ( 或 预 置 条 件 ) 。 


例如 ， 对 第 一 种 情况 ， 假 设 “ 因 子 A 有 4 个 因子 值 ， 见 表 4-54。 


表 4-54 因子 A 





我 们 已 经 通过 流程 、 参 数 、 数 据 或 组 合 的 测试 设计 方法 ， 得 到 了 6 个 测试 用 例 ， 见 表 
4-55。 


我 们 将 “因子 A” 作 为 预 置 条 件 ， 分 配 到 这 6 个 测试 用 例 中 ， 见 表 4-56。 


表 4-55 因子 A 的 6 个 测试 用 例 


测试 用 例 编号 测试 用 例 标题 


1 测试 用 例 1 
2 测试 用 例 2 
3 测试 用 例 3 
4 测试 用 例 4 
5 测试 用 例 5 
6 测试 用 例 6 


表 4-56 预 置 条 件 分 配 


测试 用 例 编号 测试 用 例 标题 预 置 条 件 


测试 用 例 1 Al 
测试 用 例 2 A2 
测试 用 例 3 A3 
测试 用 例 4 A4 
测试 用 例 5 Al 
测试 用 例 6 A2 





析 后 ， 得 到 4 个 测试 数据 ， 见 


表 4-57。 


表 4-57 4 个 测试 数据 





我 们 将 “数据 B” 作 为 测试 输入 数据 ， 分 配 到 这 6 个 测试 用 例 中 ， 见 表 4-58。 

需要 特别 说 明 的 是 ,上 面 在 “分 配 ” 因 子 或 数据 的 时 候 ， 使 用 的 是 “ 轮 询 ” 的 方 
式 ， 即 按照 “A1”“A2”“A3”“A4”“A1”.…. 的 顺序 进行 。 在 实际 项 目 

中 ，“ 轮 询 ” 方 式 不 一 定 适 合 ， 我 们 还 需要 考虑 : 

-内 容 的 重要 性 : 不 同 的 因子 或 数据 值 ， 它 们 的 重要 性 可 能 不 同 。 对 重要 的 、 优 先 级 
高 的 因子 ， 我 们 可 以 加 大 分 配 量 。 例 如 ，“ 因 子 A” 中 的 “A1” 重 要 性 相 

对 “A2”~“A4” 都 要 高 一 些 ， 我 们 融 可 以 在 测试 用 例 中 多 分 配 一 些 “A1”， 见 表 
4-59。 


表 4-58 测试 输入 数据 分 配 


测试 用 例 编号 | 测试 用 例 标题 | 测试 输入 数据 


1 测试 用 例 1 B1 





a 测试 用 例 2 B2 
3 测试 用 例 3 B3 
1 测试 用 例 4 B4 
5 测试 用 例 5 B1 
6 测试 用 例 6 B2 


表 4- 59 内 容重 要 性 示例 


测试 用 例 编号 | 测试 用 例 标题 预 置 条 件 


] 测试 用 例 1 Al 





a 测试 用 例 2 A2 
3 测试 用 例 3 A3 
4 测试 用 例 4 A4 
5 测试 用 例 5 Al 
6 测试 用 例 6 Al 


:测试 执行 的 便利 性 : 我 们 可 以 尽量 将 和 这 个 测试 用 例 有 关 的 “因子 ”或 “数据 ” 值 
分 配 到 一 起 ， 达 到 测试 用 例 的 时 候 可 以 “顺便 ”测试 这 个 “因子 ”或 “数据 ” 值 的 
效果 。 


最 后 我 们 来 看 一 个 实际 的 例子 : 我 们 还 是 以 “PC 连接 WiFi” 为 例 。 


这 时 我 们 考虑 “PC 会 使 用 不 同 的 操作 系统 ”来 连接 NiFi， 即 考虑 “操作 系统 ”这 个 
因子 ， 并 将 这 个 因子 在 “PC 连接 wiFi” 的 测试 用 例 中 进行 “策略 覆盖 ”。 


举例 : 对 “PC 连接 WiFi” 这 个 功能 ,考虑 “操作 系统 ”后 ， 进 行 策略 覆 芋 


假设 PC 可 以 通过 下 述 操作 系统 来 连接 WiFi : 


支持 的 “操作 系统 ” 支持 的 “操作 系统 ” 
Windows 8 Windows XP 
Windows 7 Mac OSX 


我 们 要 将 这 个 因子 策略 覆 关 到 表 4-66 所 示 的 测试 用 例 中 ( 关于 这 些 测 试用 例 的 生 


成 ， 参 见 4.4.7 节 ) 。 


表 4-66 策略 覆盖 的 测试 用 例 


测试 用 例 编号 测试 用 例 标题 
1 使 用 备 选 WiFi 网 络 ，WPA 加 密 ， 连 接 不 成 功 
2 使 用 首选 WiFi 网 络 ，WEP 加 密 ， 连 接 成 功 
3 使 用 备 选 WiFi 网 络 ，WPA2 加 密 ， 连 接 成 功 
( 续 ) 
测试 用 例 编号 测试 用 例 标题 
4 使 用 备 选 WiFi 网 络 ，WEP 加 密 ， 连 接 不 成 功 
5 使 用 首选 WiFi 网 络 ，WPA 加 密 ， 连 接 成 功 
6 使 用 首选 WiFi 网 络 ，WPA2 加 密 ， 连 接 不 成 功 
了 使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 
8 使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 
9 使 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 不 成 功 
10 使 用 备 选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 
我 们 首先 来 分 析 “操作 系统 ”这 个 因子 ， 看 看 不 同 的 操作 系统 是 否 具 有 不 同 的 优先 


级 。 


作为 举例 ， 我 们 假设 “Windows 7” 和 “Windows 8” 的 优先 级 比较 


接 下 来 我 们 来 考虑 测试 执行 的 便利 性 。 


从 测试 时 的 配置 顺序 来 看 ， 我 们 会 先 选 择 是 使 用 “首选 WiFi” 还 是 


~ 


y= 


和 XIJo 


“第 选 WiFi” ， 


再 选择 “是否 要 加 密 ”“， 如 果 要 “加 密 ”， 我 们 还 要 选择 “加密 算 法 ”。 我 们 可 以 
将 上 述 配置 过 程 绘 成 一 棵 “ 树 ” 的 形式 ， 如 图 4-65 所 示 。 


配置 开始 


首选 WiFi 备 选 WiFi 










图 4-65 配置 过 程 树 形 图 


然后 我 们 选择 让 每 种 “操作 系统 ”覆盖 一 个 “ 树 权 ”， 如 图 4-66 所 示 。 


首选 WiFi | 


好 






图 4-66 操作 系统 禾 兰 树 权 


其 中 (1) 和 (3 ) 中 还 包含 了 3 种 加 密 的 情况 ， 包 含 的 “测试 用 例 ” 比 (2) 和 (4) 
要 多 一 些 ， 我 们 可 以 将 ( 1 ) 和 (3 ) 分 别 分 配给 我 们 分 析出 来 的 重要 的 操作 系统 : 
Windows 7 和 Windows 8 ; 将 (2) 和 (4 ) 分 别 分 配给 相对 不 那么 重要 的 操作 系 


统 : Windows XP 和 Mac 0S X。 


这 样 ， 按 照 上 述 分 配 策略 ， 我 们 将 “操作 系统 ”这 个 因子 在 测试 用 例 中 分 配 ， 见 表 


4-61。 
表 4-61 操作 系统 在 测试 用 例 中 的 分 配 
测试 用 例 编号 测试 用 例 标题 预 置 条 件 





1 更 用 备 选 WiFi 网 络 ， ， 连 接 不 成 功 Windows 8 

2 更 用 首选 WiFi 网 络 ，WEP 加 密 ， 连 接 成 功 Windows 7 

3 更 用 备 选 WiFi 网 络 ，WPA2 加 密 ， 连 接 成 功 Windows 8 

4 更 用 备 选 WiFi 网 络 ，WEP 加 密 ， 连 接 不 成 功 Windows 8 

( 续 ) 

测试 用 例 编号 预 置 条 件 

5 更 用 首选 WiFi 网 络 ，WPA 加 窗 ， 连 接 成 功 Windows 7 

6 更 用 首选 WiFi 网 络 ，WPA2 加 密 ， 连 接 不 成 功 Windows 7 

7 更 用 首选 WiFi 网 络 ， 不 加 密 ， 连 接 成 功 Windows XP 

8 更 用 备 选 WiFi 网 络 ， ， 连 接 不 成 功 Mac OS X 

9 更 用 首选 WiFi 网 络 ， ; ， 连 接 不 成 功 Windows XP 

10 更 用 备 选 WiFi 网 络 ， ， 连 接 成 功 Mac OS X 





4.4.9 错误 推断 法 


错误 推断 法 是 测试 者 根据 经 验 来 判断 产品 在 哪些 地 方 容 易 出 现 问 题 ， 然 后 针对 这 些 
地 方 来 设计 测试 用 例 的 方法 。 


错误 推断 法 是 一 种 基于 经 验 的 测试 设计 方法 。 使 用 错误 推断 法 来 设计 测试 用 例 ， 优 
所 是 测试 用 例 的 有 效 性 会 比较 高 ( 所 谓 测 试用 例 的 有 效 性 ， 束 是 指 测 试用 例 友 现 产 
品 缺陷 的 能 力 ) 。 但 错误 推断 法 的 缺点 也 是 显而易见 的 : 这 时 测试 专注 于 友 现 缺 
陷 ， 可 能 会 测试 得 很 严 和 奇 ， 却 忽视 或 遗漏 挥 对 一 些 基 本 功能 和 场景 的 测试 验证 ， 造 
成 测试 遗漏 。 因 此 对 软件 测试 染 构 师 来 说 ， 在 测试 设计 中 控制 错误 推断 法 的 使 用 ， 
将 其 维持 在 一 个 合适 的 度 上 ， 是 非常 重要 的 一 件 事情 。 


将 错误 推断 法 用 到 四 步 测试 设计 法 中 的 第 4 步 ， 根 据 经 验 补充 测试 用 例 ， 是 一 个 比较 
推荐 的 方法 。 在 保证 测试 用 例 对 功能 、 场 景 能 够 有 一 定 的 基本 履 善 的 基础 上 ， 再 使 
用 错误 推断 法 来 增加 测试 用 例 的 有 效 性 。 


错误 推断 法 中 的 经 验 ， 主 要 源 于 对 产品 缺陷 的 分 析 ， 上 有 具体 万 法 如 图 4-67 所 示 。 


Step1: 选 册 产品“ 非 
测试 用 例 ” 发 现 的 缺陷 










这 个 缺陷 能 否 通过 


“测试 设计 ”发 现 ? 


Step2: 分 析 这 些 缺 陷 一 > 分 析 下 一 个 缺陷 






了 
为 什么 没有 想到 
这 个 “测试 点 ”? 


图 4-67 错误 推断 法 


可 见 我 们 的 经 验 其 实 是 通过 问 问题 来 获得 的 : 我 们 对 测试 设计 遗漏 的 这 些 缺陷 ， 一 
边 问 自己 上 述 的 这 些 间 题 ， 一 边 记 录 下 这 些 问 题 的 答案 和 在 这 个 过 程 中 我 们 产生 的 
任何 对 测试 有 意义 的 灵感 ， 这 些 内 容 丈 是 我 们 宝贵 的 测试 经 验 。 


然后 我 们 把 这 举 经 验 作 为 测试 点 ， 对 它 们 来 设计 测试 用 例 ， 这 融 是 使 用 错误 推断 法 
来 设计 测试 用 例 的 整个 过 程 。 


这 些 经 验 对 整个 测试 团队 来 说 都 是 非常 有 益 的 。 对 软件 测试 架构 师 来 说 ， 可 以 定期 


组 织 这 样 的 缺陷 分 析 活 动 ， 并 在 团队 中 分 享 这 些 经 验 ， 折 展 大 家 的 思路 ， 增 加 对 缺 
陷 的 敏感 度 ， 提 高 测试 设计 的 有 效 性 。 


4.5 探索 式 测 试 


探索 式 测 试 ( exploratory testing ) 最 早 由 测试 专家 Cem Kanner 博 士 在 1983 年 
提出 ， 是 一 种 强调 测试 人 员 同 时 开展 测试 学 习 、 测 试 设计 、 测 试 执行 ， 并 根据 测试 
结果 反馈 及 时 优化 的 测试 方法 。 


探索 式 测试 十 分 强调 人 ， 特 别 是 优秀 的 测试 者 在 软件 测试 中 的 作用 ， 因 此 探索 式 测 
试 非常 注重 测试 思维 ， 发 展 到 现在 ， 已 经 总 结 了 非常 多 的 测试 方法 。 尽 管 探索 式 测 
试 十 分 推 尝 目 由、 个 性 和 激情 ,但 这 并 不 意味 着 探索 式 测 试 束 是 随意 的 、 想 到 什么 
殊 测 试 什么 的 测试 。 分 析 被 测 对 象 ， 根 据 被 测 对 象 的 特点 来 使 用 合适 的 测试 万 法 ， 
对 探索 式 测试 来 说 同样 重要 。 如 何 选择 合适 的 探索 式 测试 方法 ， 对 软件 测试 架构 师 
来 说 ， 是 在 探索 式 测 试 中 需要 关注 的 第 一 个 问题 。 


什么 情况 下 需要 开展 探索 式 测试 ? 这 是 软件 测试 染 构 师 需 要 关注 的 第 二 个 问题 。 在 
本 节 中 ， 我 们 将 先 为 大 家 介绍 探索 式 测试 的 一 般 实 施 方法 。 在 后 面 的 章节 中 ， 我 们 
还 将 和 大 家 一 起 来 深入 探讨 探索 式 测试 开 展 的 策略 。 


4.5.1 探索 式 测 试 的 基本 思想 : CPIE 


CPIE 模 型 概括 思 结 了 探索 式 测 试 的 基本 思想 ， 如 图 4-68 所 示 。 


划分 优先 级 了 





分 析 调 人 研 I 
图 4-68 探索 式 测试 的 基本 思想 

收集 ( Collection ) : 收集 所 有 关于 测试 对 象 的 信息 并 去 理解 这 些 信息 。 
-划分 优先 级 ( Prioritization ) : 对 所 有 需要 测试 的 任务 进行 优先 级 的 划分 。 


分 析 调 研 ( Investigation ) : 对 测试 的 任务 进行 仔细 分 析 ， 预 测 可 能 输出 的 结 
果 ，。 


:实验 ( Experimentation ) : 进行 测试 实验 ， 确 认 测 试 结果 和 预期 是 否 符 合 。 分 析 
是 否 需 要 修改 测试 策略 和 方法 。 如 有 和 需要， 进入 “收集 ”阶段 。 


CPIE 模 型 很 好 地 忌 结 了 探索 式 测试 的 基本 思想 。 和 传统 式 测试 相 比 ， 探 索 式 测试 弱 
化 了 流程 ， 强 调 实践 ， 边 学 边 测 ， 持 续 改 进 。 使 用 探索 式 测 试 的 优势 是 显而易见 
的 : 能 够 更 快 地 进行 测试 ， 能 够 得 到 更 有 效 的 测试 点 ， 能 够 更 高 效 地 友 现 产品 缺 
陷 。 但 是 ， 探 索 式 测试 也 有 一 定 的 局 限 性 : 容易 将 焦点 集中 在 缺陷 发现 上 而 偏离 对 
需求 的 验证 ， 对 基本 测试 点 的 测 降 和 履 兰 容易 不 足 ， 测 试点 不 易 复 用 ， 不 易 积累 。 


此 外 ， 探 索 式 测试 对 人 的 要 求 很 高 ， 包括 测 试 者 的 思维 能 力 ， 分 析 能 力 ， 总 结 能 
力 ， 持 续 改进 、 妃 求 早 越 的 意愿 ， 等 等 。 


在 实际 项 目 中 ， 以 传统 式 测试 为 主线 ， 将 探索 式 测 试 作为 很 好 的 补充 是 比较 不 错 的 
方式 ， 两 种 思想 结合 起 来 ， 能 比较 不 错 地 将 探索 式 测 试 的 思想 运用 到 各 种 测试 活动 
中 。 


4.5.2 选择 合适 的 探索 式 测 试 方法 
我 们 可 以 按照 如 下 的 步骤 来 选择 探索 式 测 试 方 法 。 
第 一 步 : 对 产品 的 特性 进行 “分 区 ”。 


我 们 将 产品 特性 划分 为 “历史 区 ” ( 继承 特性 ) 、“ 商 业 区 ” ( 销售 特性 ) 、“ 娱 
乐 区 ” ( 辅助 特性 ) 、“ 破 旧 区 ” ( 问题 高 友 区 ) 、“ 旅 馆 区 ” ( 平台 、 维 护 特 
性 ) 、“ 旅 游 区 ” ( 哮 头 特性 ) 和 “其 他 区 ”。 


如 果 产 品 同时 具备 了 多 个 区 域 的 特性 ， 那 就 将 这 个 特性 分 别 划 到 这 些 区 域 中 去 。 如 
果 我 们 对 一 个 产品 中 的 特性 来 划分 区 域 ， 划 分 完成 后 ,可 能 会 像 图 4-69 这 样 ， 存 在 
相互 重 赦 的 情况 。 


娱乐 区 
(辅助 特性 ) 


商业 区 (销售 特性 ) 


图 4-69 相互 重 革 的 情况 


第 二 步 : 根据 不 同 的 分 区 来 选择 适 


1. 历 史 区 测试 法 


历史 区 测试 法 针对 的 是 “老人 代码” 
括 那 些 用 于 修复 已 知 缺陷 的 代码 。 





历史 区 
(继承 特性 ) 


破旧 区 


(问题 高 发 区 ) 


撒 馆 区 


 、 维 护 特 性 ) 


合 这 个 分 区 的 探索 式 测试 方法 。 


, 即 在 前 几 个 版 本 就 已 经 存在 的 软件 特性 ， 也 包 


历史 区 测试 法 是 一 种 有 效 的 测试 方法 ， 因 为 对 于 软件 的 缺陷 来 说 ， 历史 汕 常会 重演 
一 一 我 们 经 常 在 测试 中 友 现 ， 之 前 修复 的 缺陷 在 后 面 测试 的 时 候 又 出 现 了 ， 或 是 在 
后 面 的 测试 中 又 出 现 了 类 似 的 缺陷 ， 因 此 多 伦 一 些 时 间 重 新 测试 那些 曾 合 有 很 多 缺 


陷 的 代码 是 特别 重要 的 。 


表 4-62 忌 结 了 历史 区 测试 法 中 包含 的 探索 式 测试 去， 供 读者 参考 。 


表 4-62 历史 区 测试 法 中 包含 的 探索 式 测试 法 


测试 方法 方法 描述 
恶 邻 训 试 法 者 那些 缺陷 横行 的 代码 段 ， 测 试 人 员 应 该 在 这 些 区 域 尽量 多 花 时 间 

重视 老 的 可 执行 文件 和 那些 遗留 代码 ， 另 外 还 包括 累积 许久 没有 执行 过 的 用 例 ， 确 保 它 们 和 新 
增 代码 享受 同等 待遇 

检查 那些 在 新 版 本 中 无 法 再 运行 的 测试 用 例 ， 以 确保 产品 没有 遗漏 必需 的 功能 ， 也 就 是 说 如 果 
当前 产品 构造 是 对 先前 版 本 的 更 新 ， 必 须 先 运行 先前 版 本 上 支持 的 所 有 场景 和 测试 用 例 


博物 馆 测 试 法 


上 一 版 本 测试 法 


2 .商业 区 测试 法 


商业 区 测试 法 针对 的 是 销售 特性 。 所 谓 的 销售 特性 ， 融 是 指 产品 的 重要 功能 和 特 
性 ， 是 测试 时 需要 重点 测试 的 对 象 。 


商业 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-63。 


表 4-63 商业 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
指南 针 测试 法 | ”主要 要 求 测试 人 员 通 过 阅读 用 户 手册 、 场 景 及 产品 需求 进行 相关 的 测试 


卖点 测试 法 对 那些 能 够 吸引 用 户 的 特性 进行 测试 ， 至 于 哪些 特性 能 够 吸引 用 户 ， 可 以 向 销售 人 员 咨询 ， 或 者 
关 辟 从 jTRANI 冯 


拜访 客户 

地 标 测 试 法 主要 是 寻找 测试 点 ， 明 确 测试 项 ， 这 里 的 测试 点 就 是 “地 标 ” 

极限 测试 法 问 软 件 提出 很 多 难以 回答 的 问题 。 比 如 ， 如 何 使 软件 发 挥 到 最 大 限度 ?哪个 特性 会 使 软件 运行 到 
其 设计 极限 ? i iho Lb es DR 

快递 测试 法 要 求 测试 人 员 专 注 于 数据 ， 即 数据 从 输入 到 输出 展现 给 客户 或 页 面 过 程 中 ， 数 据 执行 的 流程 


当 我 们 不 对 测试 对 象 操 作 时 ， 测 试 对 象 能 否 自 动 完成 各 种 维护 任务 ， 将 数据 归档 ， 自 动 记录 发 生 
的 异常 情况 ， 等 等 

通过 选 定 一 个 目标 ， 然 后 使 用 可 以 发 现 的 最 短路 径 来 访问 目标 包含 的 所 有 对 象 。 测 试 中 不 要 求 追 
求 细 节 ， 只 是 检查 那些 明显 的 东西 


深夜 测试 法 


遍历 测试 法 


3 .娱乐 区 测试 法 


娱乐 区 测试 法 针对 的 是 辅助 特性 ， 也 就 是 那些 并 不 是 那么 重要 的 特性 的 测试 。 


娱乐 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-64。 


表 4-64 娱乐 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
配角 测试 法 专注 于 某 些 特定 的 特性 ， 它 们 虽然 不 是 那 种 我 们 希望 用 户 使 用 的 主要 特性 ,但 和 那些 主要 的 特性 会 一 


同 出 现 。 它 们 越 紧 邻 那些 主要 功能 ， 越 容易 被 人 注意 ， 所 以 必须 给 予 这 些 特性 足够 的 重视 ， 不 能 忽视 
测试 产品 特性 的 使 用 情况 列表 中 排 在 最 下 面 的 几 项 特性 (最 不 可 能 被 用 到 的 或 是 那些 最 不 吸引 用 户 
深 埠 测试 法 风 守 入) 它 的 变种 是 “混合 测试 法 ”， 试 着 把 最 流行 和 最 不 流行 的 特性 放 在 一 起 混 着 测 。 因 为 开发 人 
员 可 能 从 来 没有 预想 过 它们 会 在 这 样 的 场景 中 被 混合 在 一 起 
测试 软件 长 时 间 运 行 后 ， 各 功能 模块 是 否 正 常 ， 有 点 像 稳定 性 测试 。 这 个 方法 很 容易 和 “深夜 测试 
法 ”混淆 ， 但 是 测试 侧重 点 不 同 :“ 深 夜 测试 法 ”测试 的 是 测试 对 象 的 自动 处 理 能 力 


通宵 测试 法 


4. 破 旧 区 测试 法 


破旧 区 测试 法 针对 的 是 问题 高 发 特性 。 对 这 些 让 人 头痛 的 问题 高 友 特 性 ， 破 旧 区 测 
试 法 的 测试 思想 就 是 继续 “ 落 井 下 石 ” : 如 输入 恶意 数据 、 破 坏 操 作 、 修 改 配 置 广 
件 等 ， 所 有 这 些 你 能 想到 的 “有 害 ” 的 事情 ， 都 往 这 些 特性 上 想 就 对 了 。 


破旧 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-65。 


表 4-65 破旧 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
破坏 测试 法 指 那些 缺陷 横行 的 代码 段 ， 测 试 人 员 应 该 在 这 些 区 域 尽量 多 花 时 间 
要 求 输入 最 不 可 能 的 到， 或 者 已 知 的 恶意 输入 。 你 见 过 去 酒吧 不 喝酒 点 果汁 的 吗 ? 反叛 测试 法 


反叛 测试 法 
又 叛 测试 与 此 类 似 ， 要 求 输入 最 不 可 能 的 数据 


强迫 软件 - - 遍 又 一 遍 接 受 同 样 的 数据 ， 反 复 执 行 同样 的 操作 。 此 种 思维 方式 ， 常 常 打破 了 开发 人 


时 迫 证 测试 法 We eR 
强迫 证 测试 ; 员 设计 代码 的 思路 ， pri ey 却 不 曾 考虑 过 你 反复 地 执行 第 一 步 应 该 如 何 处 理 


5 .旅馆 区 测试 法 


旅馆 区 测试 法 针对 的 是 平台 或 维护 特性 。 这 些 特性 的 特点 容易 被 忽视 ， 而 旅馆 区 测 
试 法 束 是 让 我 们 再 回 过 头 去 测试 一 些 经 常 被 忽视 的 或 在 测试 计划 中 较 少 摘 述 的 次 要 
及 辅助 功能 的 方法 。 


旅馆 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-66。 


表 4-66 旅馆 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 
en 启动 相关 操作 ， 然 后 停止 它 ， 查 看 测试 对 象 的 处 理 机 制 及 反应 。 例 如 ， 在 功能 进行 中 使 用 Esc 
取消 测试 法 


键 、 取 消 键 、 回 退 键 、 关 闭 按 键 或 者 彻底 关闭 程序 等 
懒汉 测试 法 做 尽量 少 的 实际 工作 ， 主 程序 月 行 处 理 空 字 段 及 运行 所 有 默认 值 


6 .旅游 区 测试 法 


旅游 区 测试 法 针对 的 是 嘻 头 特性 。 这 种 测试 万 法 的 特点 是 天 注 如 何 快速 访问 文件 的 
各 种 功能 ， 测 试 目的 束 像 万 法 的 名 称 一 样 ， 只 是 为 了 到 此 一 游 。 





旅游 区 测试 法 包含 的 主要 测试 方法 ， 见 表 4-67。 
表 4-67 旅游 区 测试 法 包含 的 主要 测试 方法 


测试 方法 方法 描述 

测试 人 员 通 过 测试 去 收集 软件 的 输出 ， 将 那些 可 以 到 达 的 “地 方 ”都 到 达 一 遍 ， 并 把 观察 到 的 
输出 结果 记录 下 来 ， 收 集 得 越 多 越 好 

访问 离 应 用 程序 的 某 个 开始 点 尽 可 能 远 的 特性 。 哪 个 特性 需要 点 击 N 次 才能 被 用 到 ? 哪个 特 
性 需要 经 过 最 多 的 界面 才能 访问 ”主要 指导 思想 是 到 达 目的 地 之 前 尽量 多 地 在 应 用 程序 中 穿行 

要 求 测试 人 员 去 关心 那些 表面 的 东西 ， 只 测试 界面 。 测 试 中 注意 观察 界面 上 各 种 元 素 。 它 们 看 
地 模 测试 法 | 上 去 怎么 样 ? 有 没有 被 正确 地 绘制 出 来 ? 变化 界面 时 ， 图 形 用 户 界面 刷新 情况 如 何 ? 如 果 软件 用 
闫 色 来 传达 某 种 意思 ， 这 种 信息 是 否 一 致 ? 界面 是 否 违反 了 任何 惯例 或 标准 ? 

测试 同一 个 应 用 程序 多 个 复制 的 情况 。 测 试 程序 同时 处 理 多 个 功能 要 求 时 ， 是 否 正常 ， 各 功能 
之 间 同 时 处 理 时 ， 是 否 会 相互 影响 


收藏 家 测试 法 


长 路 径 测 试 法 


测 一 送 一 测试 法 


7 .其 他 区 测试 法 


“其 他 区 ”是 指 那 些 无 法 归 类 在 历史 区 、 商 业 区 、 娱 乐 区 、 破 | 旧 区 、 旅 馆 区 和 旅游 
区 中 的 探索 测试 的 区 域 ， 比 如 产品 的 一 些 可 测试 性 、 可 维护 性 特性 ( 最 终 用 户 不 一 
定 会 使 用 ， 但 是 对 测试 或 者 开 友 、 维 护 却 比较 有 用 的 的 内 容 ) ， 再 比如 对 当前 有 代 


码 变 动 的 一 些 地 方 的 测试 等 


"其 他 区 测试 法 ”包含 的 主要 测试 方法 如 下 : 


测试 方法 方法 描述 


这 个 方法 一 般 在 你 需要 进行 某 项 功能 测试 之 ‘ 元 成 。 首 Ce 个 功能 有 哪些 部 分 是 


试 结果 、 定 位 问题 有 用 的 “内 部 输出 ”( 可 能 就 是 些 中 间 结 
内 部 测试 法 


而 不 是 最 终 的 用 户 可 以 看 到 人 


息 )， 然 后 确认 这 些 地 方 是 否 有 效 eel 广 


开发 人 员 和 需求 工程 师 聊 聊 ， 也 许 这 里 有 新 的 需求 ) 
恋 动 区 测试 法 首先 分 析 当 前 版 本 和 上 个 版 本 有 哪些 内 容 上 的 变化 。 然 后 只 针对 变 
En bug 的 回归 测试 、 验 证 bug 的 修改 是 否 正 确 ， 就 是 使 用 的 这 种 方法 


4.5.3 开展 探索 式 测 试 


在 实际 项 目 中 ， 我 们 可 以 通过 如 图 4- 76 所 示 3 个 步骤 来 开展 探索 式 测试 : 


Step1: 确定 
探索 式 测 试 任务 


step2 : 设 计 探 索 地 图 
并 执行 探索 式 测试 


Step3: 探索 
式 测试 总 结 





图 4-76 探索 式 测 试 
1 .人 确定 探索 式 测试 任务 


确定 任务 是 开展 探索 式 测试 的 第 一 步 。 


确定 任务 可 以 由 软件 测试 染 构 师 来 进行 ， 也 可 以 由 任意 一 个 测试 组 员 来 进行 。 


首先 ， 我 们 需要 确定 任务 的 范围 。 以 下 3 种 思路 ， 可 以 帮助 我 们 来 确定 这 个 测试 任务 
的 范围 : 


思路 1 : 进行 全 局 场景 探索 。 


思路 2 : 进行 特性 漫游 探索 。 


思路 3 : 进行 局 部 功能 点 探索 。 


所 谓 全 局 场景 探索 ， 束 是 指 准 备 进行 探索 的 对 象 是 整个 系统 ; 特性 漫游 探索 是 指 准 
备 进 行 探索 的 对 象 是 整个 特性 ; 而 局 部 功能 点 探索 是 指 准 备 进行 探索 的 对 象 是 某 个 
具体 的 功能 。 


如 果 我 们 用 “矩形 框 ” 来 代表 “系统 ” ，“ 圆 形 ” 代 表 系 统 中 的 某 个 特性 ，“ 三 角 
形 ” 代 表 特 性 中 的 某 个 功能 ， 那么 全 局 场景 探索 、 特 性 漫游 探索 和 局 部 功能 点 探索 
之 辣 的 天 系 融 能 用 图 4-71 来 进行 摘 述 。 





全 局 场景 探索 特性 漫游 探索 局 部 功能 点 探索 
图 4-71 3 种 探索 关系 


确定 了 探索 式 测 试 的 范围 后 ,我 们 束 可 以 对 范围 中 的 特性 ， 按照 上 一 世 介 绍 的 内 容 
进行 分 区 了 ， 确 定 测试 方法 。 


接 下 来 我 们 就 可 以 根据 范围 和 方法 来 确定 探索 式 测试 的 任务 了 ， 可 以 参考 如 下 方式 
来 进行 描述 : 

-使 用 x x x 测试 方法 ， 对 x x 场景 进行 探索 测试 。 

使 用 x x x 测试 方法 ， 对 x x 特性 进行 探索 测试 。 

使 用 x x x 测试 方法 ， 对 x x 功能 进行 探索 测试 。 


如 果 测 试 团队 对 探索 式 测 试 方法 已 经 运用 得 很 纯熟 了 ， 可 以 不 用 在 任务 中 注 明 探索 
式 测试 方法 ， 直 接 对 x x 场景 、 特 性 或 者 功能 进行 探索 测试 即 可 。 


2 .设计 探索 地 图 并 执行 探索 式 测试 


接 下 来 的 工作 束 是 根据 探索 式 ;测试 任务 来 设计 探索 地 图 。 


探索 地 图 就 是 测试 者 根据 被 测 对 象 的 特点 ， 使 用 探索 式 ;测试 方法 分 析 得 到 的 测试 
凡 ， 然后 束 可 以 按照 测试 点 对 被 测 对 象 进行 探索 式 测 试 ， 并 记录 测试 结果 ， 如 图 4- 


72 所 泵 。 


在 4.4 节 中 讨论 “测试 设计 ”时 ， 我们 特别 指出 “不 能 将 测试 点 直接 作为 测试 用 例 来 
进行 产品 测试 ”， 为 什么 在 探索 式 测试 的 时 候 我 们 又 可 以 用 测试 点 来 进行 产品 测试 
呢 ? 


这 是 因为 ， 探 索 式 测试 是 一 边 学 习 、 一 边 设 计 、 一 边 执 行 的 测试 ， 很 多 测试 点 都 是 
我 们 边 测试 边 确 定 的 ， 确 定 后 就 会 立即 去 执行 验证 ， 我 们 的 测试 目标 是 清晰 的 ， 即 
使 测试 点 写 得 比较 粗 ， 也 是 知道 该 怎么 去 测试 的 ; 另外 ， 在 探索 式 测试 的 执行 中 ， 
我 们 知道 现在 测试 的 是 什么 ， 接 下 来 应 该 测试 什么 ， 也 能 保证 我 们 以 一 个 比较 合理 


的 顺序 执行 。 所 以 ， 使 用 探索 式 测 试 是 能 够 直接 用 “测试 点 ”来 进行 产品 测试 的 ， 
这 也 是 “探索 式 ;测试 ”速度 快 、 效 果 高 的 优势 所 在 。 


当然 ， 我 们 在 4.4 节 中 介绍 的 测试 设计 方法 ， 也 是 适合 探索 式 测试 的 : 我 们 也 可 以 对 
探索 式 测试 中 的 测试 点 建立 测试 模型 ， 设 计 测 试用 例 。 比 如 ， 使 用 PICT 工 具 来 设计 
测试 用 例 ， 确 定 测试 的 内 容 。 
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图 4-72 探索 地 图 


探索 式 测试 还 有 个 优势 就 是 能 够 根据 测试 结果 及 时 调整 测试 点 ， 更 有 效 地 发 现 产品 


缺陷 。 例 如 ， 测 试 者 在 探索 式 测 试 时 ， 有 现 叶 毕 探索 路 径 中 的 功能 质量 很 好 ， 残 可 
以 适当 减少 探索 度 ， 相 反 又 可 以 增进 一 些 探索 式 测试 ， 增 加 测试 点 的 有 效 性 。 


为 了 避免 测试 者 陷入 无 休止 的 探索 中 ， 每 个 探索 任务 都 需要 确定 一 个 完成 时 间 ， 比 
如 1 小 时 、2 小 时 ， 时 间 到 了 就 需要 停止 测试 ， 并 以 此 来 制订 探索 式 测试 计划 。 


3 .探索 了 式 测 试 总 结 


探索 式 测试 者 每 执行 完 一 个 任务 ， 都 需要 围绕 如 何 有 效 地 发 现 产 品 缺 陷 ， 立 即 进行 
上 疆 . 


总结 使 用 哪些 方法 能 够 更 有 效 友 现 产品 的 问题 。 
:总 结 本 次 探索 了 式 测 试 中 的 教训 。 


探索 式 测试 完成 后 ， 团 队 中 的 探索 式 测试 者 可 以 坐 在 一 起 分 享 本 次 探索 式 测试 中 的 
总 结 、 案 例 等 。 然 后 大 家 再 将 这 些 经验 、 教 训 运 用 到 下 一 次 探索 式 测试 中 。 


4.6 目 动 化 测试 


目 动 化 测试 现在 已 经 得 到 了 人 们 越 来 越 多 的 关注， 目前 很 多 公司 都 已 经 专门 成 了 了 
目 动 化 测试 团队 ， 有 专门 的 自动 化 架构 师 和 上 自动 化 开 友 人 员 。 对 软件 测试 染 构 师 来 
说 ， 掌 握 目 动 化 测试 相关 的 知识 和 技术 是 必要 的 ， 但 是 掌握 这 些 知识 的 目的 不 是 设 
计 目 动 化 的 架构 或 是 具体 来 部 署 上 自动化， 而 是 用 好 上 自动 化 : 


第 一 ， 用 好 已 有 的 目 动 化 一 一 让 现 有 目 动 化 能 在 产品 测试 中 发 挥 最 大 的 功效 ， 


第 二 ， 会 根据 产品 的 测试 需要 向 目 动 化 团队 提出 合适 的 自动 化 需求 ， 和 上 自动 化 团队 
保持 良好 的 互动 。 


要 做 到 上 面 两 点 ， 需 要 建立 正确 的 目 动 化 观念 ; 知道 怎么 去 评价 目 动 化 的 受益 ; 对 
工具 保持 敏感 度 ， 能 够 根据 产品 选择 合适 的 工具 残 是 软件 测试 架构 师 需要 学 习 了 解 
的 首要 内 容 。 


4.6.1 需要 知道 的 一 些 自动 化 测试 真相 


一 提 到 自动 化 测试 ， 我 们 容易 想到 的 就 是 “7x24 小 时 不 间断 测试 ” “反复 测 

试 ”“ 效 率 高 ” “廉价 ”等 赞美 之 词 。 但 是 ， 我们 也 发 现 ， 自 动 化 测试 做 的 人 不 
少 ， 成 功 的 却 不 多 。 在 这 里 ， 我 们 并 不 打算 对 目 动 化 测试 实施 不 尽 如 人 意 的 原因 、 
对 策 进行 详细 分 析 ， 这 已 经 不 在 本 书 的 讨论 荡 围 内 了 。 我 希望 的 是 ， 作 为 软件 测试 
架构 师 ， 能够 比 普通 的 测试 、 研 友人 员 对 自动 化 测试 有 更 为 深刻 的 认识 ， 不 盲目 乐 
观 ， 也 不 妄 自 非 浒 ; 不 盲从 于 流行 ， 也 不 限制 于 传统 ， 能够 真正 将 当前 的 自动 化 水 
平和 产品 测试 结合 起 来 ， 友 挥 它 最 大 的 作用 。 


我 们 要 讨论 的 第 一 个 关于 自动 化 测试 的 “真相 ” 惑 是 它 的 “成 本 ”。 

1. 目 动 化 并 不 廉价 ， 相 反 ， 目 动 化 很 贵 

自动 化 测试 是 用 一 段 程序 去 测试 另外 一 段 程序 ， 这 中 间 需 要 化 费 的 成 本 其 实 并 不 比 
新 开 友 一 个 产品 少 。 

首先 ， 很 多 团队 希望 部 署 目 动 化 测试 的 原因 ， 都 是 因为 项 目 时 间 紧 张 ， 想 通过 自动 
化 测试 来 提升 效率 ， 节省 时 间 。 但 是 他 们 却 忽视 了 ， 开 发 目 动 脚本 也 是 需要 不 少时 
间 的 ， 婚 然 时 间 都 已 经 不 够 用 了 ， 哪 里 还 有 时 间 再 去 开 友 脚本 呢 ? 这 无 异 于 缘 木 求 


鱼 。 在 这 种 情况 下 ， 即 使 开 友 出 来 测试 脚本 ， 在 时 间 压 力 下 ， 脚 本 的 质量 必 将 无 法 
保证 ， 很 多 时 候 这 些 脚本 没 运行 几 次 就 被 丢 奔 了 ， 造 成 成 本 的 滔 费 。 


其 次 ， 目 动 化 测试 需要 由 懂 目 动 化 技术 的 人 来 操作 。 目 动 化 测试 其 实 也 是 开 友 代 
码 ， 也 需要 专业 人 才 才 能 胜任 此 项 工作 。 


当然 ， 目 动 化 测试 工具 也 不 是 免费 的 ， 需 要 购买 或 者 二 次 开 妈 。 


时 间 成 本 、 人 力 成 本 和 技术 成 本 ， 都 是 目 动 化 中 需要 考虑 的 成 本 。 目 动 化 测试 真 的 
很 贵 ， 在 部 署 之 前 ， 一 定 要 考虑 团队 的 消费 能 力 。 


2 . 目 动 化 脚本 往往 没有 想象 中 那么 可 靠 


很 多 团队 想 部 署 目 动 化 测试 的 另外 一 个 重要 原因 是 ， 目 动 化 通过 程序 运行 ， 验 证 标 
准 是 统一 的 ， 不 会 漏 挥 用 例 中 的 步 又， 是 最 忠实 可 靠 的 。 但 具有 讽刺 意味 的 是 ， 目 
动 化 测试 给 你 的 “0oK”， 可 能 真 的 只 是 幻象 一 脚本 只 会 按照 指定 好 的 步骤 去 运行 
和 确认 结果 ， 不 会 去 捕捉 一 些 突 友 的 异 弟 ( 或 说 至 少 不 能 全 面 地 去 捕捉 ) 。 而 我 们 
分 析 一 下 测试 中 发 现 的 缺陷 就 能 发 现 ， 究 竟 有 多 少 缺 陷 是 根据 测试 步骤 发 现 的 ， 又 
有 多 少 缺 陷 是 在 步骤 外 “意外 ” 友 现 的 ? 换 句 话说 ， 这些“ 意外 ”发 现 的 缺陷 ,在 
部 署 目 动 化 测试 之 后 ， 可 能 都 会 友 现 不 到 。 


除 此 之 外 ， 自 动 化 测试 工具 或 者 自动 化 测试 环境 可 能 并 不 是 那么 可 靠 ( 自动 化 测试 
工具 可 能 还 没有 被 测 产品 测试 得 充分 ) ， 上 自动 化 测试 环境 或 者 工具 也 会 导致 自动 化 
测试 “失败 ”， 也 束 是 说 结果 为 “失败 ”的 测试 用 例 也 不 一 定 就 是 真 的 存在 错误 。 


因此 ， 无 论 是 正确 的 目 动 化 测试 结果 ， 还 是 错误 的 目 动 化 测试 结果 ， 都 需要 人 再 去 
确认 。 


3 .上 自动 化 测试 不 是 单 靠 测 试 残 能 搞定 的 事 儿 


事实 上 ， 即 便 我 们 有 了 可 靠 的 目 动 化 测试 工具 和 合适 的 目 动 化 脚本 开 友 人 员 ， 真 正 


到 了 部 署 目 动 化 的 时 候 ， 也 会 友 现 并 不 是 那么 容易 进行 的 。 我 们 会 友 现 ， 目 动 化 测 
试 需要 sE、 开 上 友 、 测 试 、 目 动 化 工程 师 么 密 配合 才能 有 效 运作 起 来 ， 不 是 单 靠 测试 


就 能 搞定 的 。 

自动 化 测试 要 想 最 大 限度 地 发 挥 作 用 ， 就 要 尽早 开发 出 脚本 ， 这 样 才能 反复 使 用 脚 
本 。 但 是 自动 化 脚本 不 是 想 早 开发 就 能 早 开 发 的 ， 在 开发 之 前 有 很 多 先决 条 件 : 
首先 ，“ 需 求 ”要 确定 得 清楚 ， 特 别 是 用 户 的 输入 输出 ， 一 定 要 尽早 确认 清楚 ， 这 
要 SE 给 力 。 


其 次 ，“UI” 或 者 “命令 行 ” 也 需要 尽早 确定 下 来 ， 而 且 确 定 了 束 最 好 不 要 随便 更 
改 了 ， 这 才 利 于 自动 化 脚本 中 的 一 些 “ 中 间 层 ”的 设计 ， 这 要 开 友 给 力 。 


最 后 ， 测 试用 例 要 尽快 写 出 来 ， 这 要 测试 给 力 。 


上 面 无 论 哪个 环节 出 现 了 问题 ， 都 会 影响 目 动 化 测试 的 正常 开展 ， 使 得 自动 化 测试 
停 涡 不 前 ， 甚 至 返工 ， 这 其 中 缠 仿 的 困难 和 阻力 是 不 能 小 遍 的 。 所 以 ， 对 软件 测试 
架构 师 来 说 ， 如 果 决 定 要 部 署 目 动 化 测试 ， 可 能 束 需 要 调整 测试 策略 ， 加 强 对 自动 
化 测试 中 的 风险 识别 ， 做 好 风险 控制 ， 并 有 针对 性 地 对 测试 设计 做 一 些 调整 。 


4.6.2 如 何 评估 自动 化 的 收益 


由 于 自动 化 是 昂贵 的 ， 不 是 那么 可 靠 的 ， 也 不 是 那么 容易 进行 的 ， 所 以 我 们 要 有 办 
法 对 目 动 化 的 收益 进行 评 佑 ， 通 过 评估 帮助 我 们 在 产品 中 制定 合适 目 动 化 测试 部 署 
的 策略 ， 让 目 动 化 测试 能 够 友 挥 最 大 的 作用 。 


1 .上 自动 化 测试 的 实施 成 本 


目 动 化 测试 的 实施 成 本 ， 可 以 通过 下 面 的 计算 公式 来 进行 评估 : 
目 动 化 实施 成 本 = 前 期 开发 成 本 + 后 期 的 维护 成 本 

其 中 ， 前 期 开 肥 成 本 主要 包含 如 下 内 容 : 

人力 成 本 : 和 有 目 动 化 开 上 友人 员 相 关 的 费用 成 本 。 

时间 成 本 : 自动 化 准备 时 间 ， 自 动 化 开发 、 调 试 的 时 间 成 本 。 
金钱 成 本 : 工具 购买 、 开 发 、 维 护 的 费用 成 本 。 

影响 后 期 维护 成 本 的 是 : 

:产品 变更 引起 的 自动 化 测试 脚本 变更 的 成 本 。 

定位、 修复 目 动 化 运行 环境 引起 的 脚本 的 健壮 性 问题 的 成 本 。 
定位、 修复 目 动 化 运行 环境 的 可 靠 性 问题 的 成 本 。 

-其 他 任何 未 知 的 引起 测试 脚本 变更 的 因素 引 友 的 成 本 。 


此 外 ， 这 个 评估 中 的 内 容 ， 也 是 自动 化 部 署 时 需要 考虑 的 一 些 重要 占 题 ， 在 上 自动 化 
部 署 前 仔细 分 析 考 虑 这 些 内 容 ， 还 可 以 帮助 我 们 提前 识别 风险 ， 预 防 问题 。 
2 . 目 动 化 测试 的 运行 次 数 


目 动 化 测试 的 运行 次 数 是 指 在 自动 化 测试 脚本 的 生命 周期 内 ， 这 个 脚本 能 够 被 执行 
的 次 数 。 显 然 ， 目 动 化 测试 的 收益 和 目 动 化 测试 运行 的 次 数 是 成 正比 的 ， 脚 本 能 够 
被 运行 得 越 多 ， 自 动 化 测试 的 收益 才 会 越 高 。 我 们 用 如 下 的 等 式 来 表达 两 者 之 间 的 


关系 : 
自动 化 测试 的 收益 = 自动 化 测试 的 运行 次 数 


目 动 化 测试 的 运行 次 数 为 我 们 编写 自动 化 测试 脚本 时 ， 优 先 选择 哪些 测试 用 例 提供 
了 参考 标准 一 一 不 是 优先 选择 容易 进行 目 动 化 测试 的 测试 用 例 ， 而 是 选择 那些 真正 
需要 多 次 执行 的 测试 用 例 。 而 且 这 个 原则 不 仅 适 用 在 自动 化 脚本 的 开 友 上 ， 还 适用 
在 目 动 化 脚本 的 维护 、 目 动 化 脚本 可 靠 性 的 提升 的 优先 选择 上 。 





3 . 目 动 化 测试 实施 成 本 比 


目 动 化 测试 实施 成 本 比 的 计算 公式 如 下 : 


kxn 





“cl+c2 
式 中 k 一 一 手工 执行 自动 化 用 例 所 花费 的 时 间 成 本 ; 


目 动 化 测试 用 例 执行 的 次 数 ; 








Nn 
c1 一 一 花费 在 自动 化 测试 前 期 的 成 本 ( 时 间 成 本 + 人 力 成 本 + 金钱 成 本 ) ， 
c2 一 一 花费 在 目 动 化 测试 后 期 的 成 本 ( 时 间 成 本 + 人 力 成 本 + 金钱 成 本 ) 。 





这 个 公式 可 以 帮助 我 们 评估 当前 自动 化 测试 的 收益 ， 还 可 以 帮助 我 们 确定 适合 当前 
项 目的 目 动 化 测试 和 手工 测试 比 。 


4.6.3 上 自动 化 测试 工具 介绍 


俗话 说 ，“ 工 欲 善 其 事 ， 必 先 利 其 器 ”。 这 个 道理 也 适用 于 软件 测试 。 对 软件 测试 
架构 师 来 说 ， 了 解 目前 常见 的 目 动 化 测试 工具 是 有 必要 的 。 这 样 才能 在 有 需要 的 时 


候 ， 为 产品 测试 选择 合适 的 工具 ， 或 是 向 自动 化 测试 团队 提出 需求 。 

我 从 单元 测试 、UI 上 自动 化 测试 和 性 能 测试 的 角度 ， 总 结 了 常见 的 自动 化 测试 工具 . 
1 .单元 测试 工具 

Parasoft 系 列 单元 测试 工具 见 表 4-69。 


表 4-69 Parasoft 系 列 单元 测试 工具 


工具 名 语言 特点 
Ttest 代码 分 析 和 动态 类 ， 组 件 测试 
Jeontract 实时 性 能 监控 及 分 析 优化 
C++Test 代码 分 析 和 动态 测试 
CodeWizard 代码 静态 分 析 

Insure++ 实时 性 能 监控 及 分 析 优化 


Pe Net 代码 分 析 和 动态 测试 
Compuware 系 列 单元 测试 工具 见 表 4-76。 
表 4-76 Compuware 系 列 单元 测试 工具 


TRE 到 
BoundsChecker API 和 OLE 错误 检查 、 指 针 和 泄露 错误 检查 、 内 存 错误 检查 
TrueTime C++、 Java、 Visual Basic 代码 运行 效率 检查 、 组 件 性 能 的 分 析 
FailSafe 自动 错误 处 理 和 恢复 系统 
Jcheck 事件 分 析 工 具 


欠 数 ， 所 占 比 率 统计 以 及 稳定 性 跟踪 
米 
x 





TrueCoverage C++、 Java、 Visual Basic 函数 调用 次 
SmartCheck 消 数 调用 次 数 ， 所 占 比率 统计 以 及 稳定 性 跟 踩 
CodeReview 自动 源 代码 分 析 工 具 


Xunit 系 列 单元 测试 工具 见 表 4-71。 





表 4-71 Xunit 系 列 单元 测试 工具 





工具 名 
HttpUnit Web 
HtmlUnit Web 
JsUnit(Hieatt) Java Script 1.4 以 上 
PhpUnit Php 


2 .UI 自动 化 测试 工具 


UI 自动 化 测试 工具 见 表 4-72。 


表 4-72 UI 自动 化 测试 工具 


工具 名 公司 名 
WinRunner HP Mercury 
QP HP Mercury 
Robot IBM Rational 
QARun Compuware 
SilkTest Segue 


e-Test Empirix 


3 .性 能 自动 化 测试 工具 
性 能 自动 化 测试 工具 见 表 4-73。 


表 4-73 性 能 自动 化 测试 工具 


http 
http 
http 
http 
http 


http: 


http 
http 
http 
http 
http 
http 


http 
http 
http 
http 
http 
http 


官方 网 站 
://www.libre.act-europe.fr 
:l/cppunit.sourceforge.net 
://comunit.sourceforge.net 
://dunit.sourceforge.net 
://dotunit.sourceforge.net 
l/c2.com/cgi/wiki? HttpUnit 
://htmlunit.sourceforge.net 
:WwwWw.Junlt.oTg 
://www.jsunit.net 
://phpunit.sourceforge.net 
://perlunit.sourceforge.net 


://xmlunit.sourceforge.net 


官方 网 站 
://www.mercuryinteractive.com 
://www.mercuryinteractive.com 
:WwwWw.Tational.com 
:Wwww.compuware.com 
://www.segue.com 


://WWW.explrix.com 


工具 名 公司 名 官方 网 站 
WAS Microsoft http://www.microsoft.com 
LoadRunner HP Mercury http://www.mercuryinteractive.com 


Qaload Compuware http:/www.compuware.com 


TeamTest:SiteLoad IBM Rational http://www.rational.com 


Webload Radview http://www.radview.com 
Silkperformer Segue http://www.segue.com 
e-Load Expirix http://www.expirix.com 


OpenSTA OpenSTA http://www.opensta.com 


第 5 草 软件 测试 染 构 师 的 软 能 力 修炼 


软件 测试 染 构 师 作为 产品 测试 团队 的 “技术 官 ”， 是 不 是 只 要 专注 于 测试 技术 和 产 
品 知识 ， 就 能 够 胜任 这 个 角色 ， 得 到 各 领域 的 认可 呢 ? 事实 上 软件 测试 架构 师 的 工 
作 并 不 是 那么 简单 。 作 为 软件 测试 架构 师 ， 除 了 技术 这 种 “ 硬 能 力 ” 之 外 ， 沟 通 协 
商 、 文 档 写作 这 些 “ 软 能 力 ”， 也 会 影响 到 开 友 和 测试 的 合作 、 测 试 策略 的 沙 地 、 
缺陷 处 理 等 日 贡 工 作 ， 进 而 影响 测试 的 进度 和 质量 。 


本 章 从 产品 测试 的 角度 ， 讨 论 软 件 测试 架构 师 在 日 常 工作 中 需要 关注 的 沟通 协商 和 
文档 写作 方面 需要 注意 的 内 容 。 


1 .沟通 和 协商 


0 


-软件 测试 架构 师 在 产品 项 目 中 需要 遵循 的 基本 原则 。 


也 


-如何 通过 有 效 沟 通 获 得 对 产品 测试 有 用 的 信息 ? 


听 


-如何 和 上 自己 的 测试 团队 沟通 ? 


:如何 和 上 级 领导 或 投资 决策 者 沟通 ? 


2. 写 好 测试 用 例 

谁 是 测试 用 例 的 读者 ， 以 及 他 们 关心 的 是 什么 ? 
-如何 使 得 测试 用 例 的 测试 目标 突出 ? 

-如何 控制 测试 用 例 的 粒度 ? 

如何 通过 优化 用 例 表达 来 减少 用 例 执 行 遗漏 ? 


5.1 沟通 和 协 丙 


一 般 来 说 ， 沟 通 是 指 双 方 信息 的 交换 ; 而 协商 是 指 在 出 现 分 歧 的 情况 下 ， 通 过 商 
议 、 讨 论 ， 最 后 能 够 达成 一 致 。 对 软件 测试 以 构 师 来 说 ， 沟 通 无 处 不 在 : 


软件 测试 的 “输入 ”“， 如 需求 、 产 品 设计 等 ， 虽 然 有 文档 ， 但 是 其 中 很 多 细节 ， 甚 
至 文档 的 更 新 ， 还 是 需要 通过 沟通 来 获得 ， 


-软件 测试 策略 ， 需 要 通过 沟通 和 测试 团队 中 每 个 成 员 达 成 一 致 ， 统 一 目标 。 


对 软件 测试 架构 师 来 说 ， 掌 握 一 些 汐 通 协 商 技 区 是 非常 有 必要 的 。 我 们 需要 了 解 产 
品 测试 中 的 沟通 原则 ， 上 有 具备 如 何 通 过 沟通 来 获取 对 测试 有 用 的 信息 的 能 力 ， 以 及 对 
不 同 对 象 使 用 不 同 的 沟通 方式 和 沟通 策略 。 


5.1.1 产品 测试 中 的 沟通 原则 
对 产品 测试 而 言 ， 沟 通 原 则 有 两 点 : 


-尽早 沟通 。 


. 既 要 对 事 ， 也 要 对 人 。 
1 .尽早 沟通 


在 日 间 沟 通 中 我 们 都 能 感到 ， 同 一 件 事情 ， 沟 通 的 时 机 不 同 ， 沟 通 的 结果 可 能 融会 
大 相 径 庭 。 在 产品 测试 中 也 是 如 此 : 在 进行 一 项 测试 活动 ( 如 测试 设计 、 测 试 执行 
等 ) 之 前 ， 需 要 把 目标 、 要 求 、 期 望 的 结果 和 可 能 的 问题 尽早 沟通 清楚 ， 防 患 于 未 


尽早 沟通 能 够 帮助 我 们 预防 分 歧 。 

让 我 们 来 回想 一 下 是 否 有 这 样 的 感觉 : 

:感到 开发 在 项 目 中 老 是 破坏 规 算 ， 或 是 不 按照 规 算出 牌 。 
-感到 开 友 或 者 测试 输出 的 文档 不 是 你 想 要 的 。 

-感到 领导 或 是 投资 决策 者 不 太 理解 目 己 ， 和 目 己 乙 间 仿 佛 有 种 沟通 障碍 。 


如 果 上 面 有 答案 是 衣 定 的 ， 我 们 不 妨 再 来 看 看 这 些 问题 的 原因 ， 其 实 都 可 以 归 各 
为 “分 卜 ” : 可 能 对 目标 的 理解 仓 在 分 收 ， 也 有 可 能 对 做 事 的 方式 方法 仓 在 分 收 ， 
或 对 事物 完成 的 标准 仓 企 分 层 。 


其 实在 测试 和 研发 团队 中 ， 每 个 人 看 待 问题 的 角度 不 同 ， 关 注 度 不 同 ， 存 在 分 歧 是 
很 正音 的 。 需 要 我 们 做 的 ， 是 在 分 歧 变 成 问题 之 前 ， 彼 此 进行 沟通 、 协 商 、 受 协 。 
不 要 小 看 这 样 的 沟通 活动 ， 它 们 能 够 帮助 我 们 从 根本 上 消炎 很 多 问题 ， 殊 像 汽 车 的 
润滑 剂 一 样 ， 能 够 让 项 目 得 以 顺利 地 进行 。 


2 . 既 要 对 事 ， 也 要 对 人 


既 要 对 事 ， 也 要 对 人 ， 是 我 们 在 产品 测试 的 沟通 中 需要 遵循 的 第 二 条 原则 。 


在 日 党 的 沟通 中 ， 我 们 常 说 要 “对 事 不 对 人 ”。“ 既 要 对 事 ， 也 要 对 人 ”我 们 该 如 
何 理解 呢 ? 


事实 上 ， 测试 需 要 打交道 的 角色 非常 多 ， 开 友人 员 、 测 试 人 员 、 领 导 人 员 、 市 场 人 
员 、 服 务 人 员 等 。 “对 人 ” 意 在 强调 我 们 在 沟通 时 需要 理解 你 的 沟通 对 象 ， 要 学 会 
换 位 思考 ， 即 使 是 同一 件 事情 ， 在 表达 上 也 需要 以 对 方 能 够 理解 的 方式 来 表达 。 我 
们 来 看 看 下 面 这 个 小 故事 。 


小 故事 : 小 李 和 老 张 的 一 次 沟通 


小 李 在 拿 到 项 目 整体 计划 后 友 现 ， 测 试 分 析 和 设计 的 时 间 被 压缩 得 很 厉害 。 小 李 拿 
着 测试 策略 ， 想 和 项 目 责任 人 沟通 一 下 ， 希望 他 能 够 增加 一 些 测试 分 析 和 设计 的 时 
间 。 


小 李 : 老 张 ( 项 目 负 责 人 ) ， 按 照 测 试 策略 ， 我 们 在 做 测试 执行 之 前 ， 需 要 进行 测 
试 分 析 ， 按 照 现在 的 研发 计划 ， 测 试 分 析 的 时 间 太 仓促 了 .…… ( 小 李 还 没有 说 完 ， 就 
被 老 张 打 断 了 ) 


老 张 : 没有 办 法 ， 项 目 时 间 实 人 在 是 太 紧 了 。 你 看 ， 我 们 要 保证 在 年 底 交 付 ， 开 友 有 
这 么 多 代码 量 ， 反 推 回 来 ， 这 已 经 是 最 大 的 限度 了 。 


小 李 : 但 是 按照 这 个 计划 ， 测 坛 人 员 来 不 及 做 测试 分 析 ， 测 试用 例 可 能 写 不 完 。 
老 张 : 那 不 能 边 测 边 写 吗 ? 


小 李 : 之 前 残 是 这 样 的 ， 但 是 这 样 的 测试 效果 非 钊 不 好 。 


老 张 : 效果 不 好 要 想 办 法 把 效果 变 好 啊 ， 你 要 多 想 想 办 法 ， 把 测试 设计 做 得 更 快 一 
些 。 表 说， 不 是 在 项 目 中 测试 ， 才 有 感觉 吗 ? 你 花 那 么 多 时 间 在 用 例 的 设计 上 有 了 只 
用 ? 听 我 的 ， 把 你 们 的 测试 策略 再 调整 一 下 ， 多 想 想 办 法 ， 或 者 做 点 儿 目 动 化 什么 


的 ， 提 高 效率 。 


显然 ， 这 次 沟通 的 结果 让 小 李 很 失望 。 小 李 目 认为 自己 既 占 理 又 有 据 ， 但 就 是 无 法 
说 服 老 张 ， 只 能 吐槽 老 张 不 民 测 试 。 但 当 我 们 冷静 下 来 ， 仔 细 思 考 “ 开 友 不 懂 测 
试 ”这 个 问题 时 ， 就 会 友 现 这 其 实 特别 正常 : 开发 和 测试 本 来 就 是 两 个 独立 甚至 有 
点 儿 对 立 的 角色 ， 对 同一 件 事情 的 关注 点 存在 差 悼 ，“ 不 理解 ”的 土壤 是 广泛 存在 
的 。 站 在 老 张 的 角度 ， 他 已 经 提供 了 解决 方案 一 一 “ 边 测 边 写 ”， 而 测试 效果 不 
好 ， 显然 是 测试 要 想 办 法 解决 的 事情 ， 而 且 老 张 还 认为 测试 执行 才 是 对 项 目 整 体 最 
有 价值 的 地 方 。 看 待 问题 的 角度 不 同和 理解 上 的 差异 造成 双方 始终 无 法 在 同一 个 点 
上 沟通 ， 束 更 谈 不 上 协商 解决 问题 了 。 


小 李 如 何 才能 打动 老 张 ? 小 李 应 该 先 了 解 老 张 最 关注 的 地 方 是 什么 ， 然 后 直接 用 老 
张 能 够 接受 的 方式 去 沟通 ， 即 “ 既 要 对 事 ， 也 要 对 人 ”。 我 们 再 来 看 看 小 李 和 老 张 
的 第 二 次 沟通 。 


小 故事 : 小 李 和 老 张 的 再 一 次 沟通 


小 李 : 老 张 ， 我 想 和 你 谈 一 下 。 你 看 我 们 前 面 几 个 项 目 ， 最 后 出 现 了 一 毕 进 度 和 质 
量 上 的 问题 。 


老 张 : 是 的 ， 很 恼火 啊 。 这 次 咱们 要 多 注意 一 下 ， 这 个 版 本 不 能 再 出 现 这 种 问题 
区 


小 李 : 是 的 。 老 张 ， 我 分 析 了 一 下 进度 上 的 问题 ， 很 重要 的 一 个 原因 是 我 们 在 项 目 


接近 尾声 时 还 友 现 了 很 多 很 严重 的 问题 。 由 于 其 中 有 些 问题 的 修改 比较 大 ， 一 不 小 
心 融 会 引入 新 的 问题 ， 影 响 了 产品 质量 。 


老 张 : 是 的 〈 已 经 表现 得 非常 关注 了 ) ， 那 些 闫 重 问题 右 能 早点 发现 就 好 了 。 其 
我 也 想 和 你 谈 谈 ， 有 什么 办 法 可 以 让 测试 早点 友 现 那些 严重 的 问题 呢 ? 


好 


小 李 : 我 分 析 了 一 下 那些 问题 ， 很 大 一 部 分 并 不 是 通过 “测试 用 例 ” 友 现 的 。 我 们 
内 部 做 了 总 结 ， 是 测试 设计 遗漏 了 。 其 实 ， 这 些 “ 遗 漏 ”也 不 是 那些 特别 难 想到 的 
地 方 ， 而 是 前 面 在 做 测试 分 析 的 时 候 ， 时 间 不 够 ， 考 虑 不 足 。 如 果 我 们 评审 做 得 比 
较 充 分 ， 还 能 好 点 ， 但 是 我 们 上 个 版 本 只 是 评审 了 几 个 特性 就 没有 时 间 了 ， 所 以 .…… 


老 张 : 嗯 ( 没有 说 话 ， 思 考 状 ) 。 

小 李 : 我 们 这 个 版 本 的 计划 ， 在 这 方面 的 时 间 还 是 计划 得 很 少 ， 我 担心 最 后 还 是 会 
出 现 类 似 的 问题 。 

老 张 : 在 这 方面 ， 你 需要 增加 多 少时 间 ? 


小 李 站 在 老 张 的 角度 ， 知 道 老 张 最 关心 的 是 产品 的 质量 和 项 目 进度 后 ， 融 从 这 个 角 
度 切 入 ， 从 如 何 避 免 之 前 的 质量 和 进度 的 间 题 入 手 ， 让 老 张 明 日 测试 设计 对 产品 质 
量 和 项 目 进度 的 意义 ， 上 自然 束 能 协商 解决 这 个 问题 了 。 相 信 通 过 这 样 的 沟通 ， 老 张 
在 今后 制订 项 目 计划 的 时 候 ， 也 会 更 充分 地 考虑 测试 设计 的 时 间 ， 小 李 也 不 会 再 被 
类 似 的 问题 困扰 了 。 


5.1.2 通过 沟通 来 获得 对 产品 测试 有 用 的 信息 


需求 、 场 景 、 设 计 等 都 是 测试 的 重要 输入 ， 但 我 们 却 弟 单 友 现 : 


需求 描述 得 不 够 清晰 准确 。 
场景 描述 得 很 可。 
设计 叙述 得 不 够 清晰 ， 看 不 懂 


更 郁 闽 的 是 ， 测 试 人 员 很 难保 证 在 第 一 时 间 知 晓 需 求 或 设计 方面 的 更 新 ， 单 昔 是 测 
试用 例 都 快要 写 完 了 ， 需 要 开发 评审 时 ， 才 发 现 设计 或 者 需求 都 变 了 。 因 此 ， 除 了 
文档 ， 测 试 人 员 还 需要 通过 沟通 来 获得 对 产品 测试 有 用 的 信息 ， 来 保持 在 项 目 中 的 
耳 聪 目 明 。 


1 .以 测试 的 视角 来 读 需求 、 设 计 文档 ， 来 准备 沟通 的 问题 


我 友 现 ， 测 试 人 员 在 读 需 求 文档 的 时 候 ， 很 容易 忽视 需求 场景 的 细节 

会 了 解 一 个 大 概 ， 而 在 读 设计 文档 的 时 候 ， 又 恨不得 弄 清楚 每 一 处 实现 的 细节 。 论 
费 大 量 时 间 和 精力 研读 完 这 些 文档 后 ， 友 现 还 是 不 知道 该 怎么 测试 。 事 实 上 ， 对 测 
试 人 员 来 说 ， 从 这 些 材料 来 获得 测试 思路 才 是 读 它 们 的 目的 ， 这 残 要 求 我 们 要 以 测 
试 的 视角 来 阅读 这 些 材料 。 


何谓 测试 的 视角 ? 我 认为 主要 有 以 下 两 个 方面 : 
需求 是 否 可 以 测试 ? 需要 怎么 测试 ? 怎样 才 算 验证 通过 了 ? 
设计 是 否 可 以 测试 ? 需要 怎么 测试 ?怎样 才 算 验 证 通过 了 ? 


如 果 你 以 这 样 的 角度 去 阅读 需求 文档 ， 你 就 会 更 加 关注 需求 的 范围 ， 特 别 是 其 中 的 
限制 或 约束 条 件 ， 关 注 需 求 的 执行 者 和 相关 人 员 ， 关 注 场景 的 前 置 条 件 ， 除 了 关注 
那些 常见 的 成 功 场景 ， 更 关注 那些 扩展 的 ， 特 别 是 那些 看 起 来 有 点 不 常见 ， 或 是 错 


误 的 、 异 弟 的 场景 。 


如 果 你 以 这 样 的 角度 去 阅读 设计 文档 ， 除 了 关注 它 在 功能 上 的 设计 实现 ， 你 还 会 
注 它 在 非 功能 方面 ， 如 性 能 、 可 靠 性 、 安 全 性 、 易 用 性 、 可 移植 性 、 可 测试 性 等 方 
面 的 设计 考虑 。 


上 述 这 些 内 容 ， 对 测试 人 员 而 言 都 是 后 续 需 要 验证 的 内 容 ， 但 是 对 于 需求 工程 师 或 
者 开 友 人 员 来 说 ， 却 是 容易 忽视 的 ， 或 者 在 文档 中 容易 遗漏 的 内 容 。 我 们 以 测试 的 
视角 ， 市 着 这 些 问 题 去 阅读 需求 或 者 开 友 的 材料 ， 融 很 容易 友 现 那些 需要 需求 工程 
师 或 者 开 上 友人 员 来 进一步 澄清 的 问题 ， 获 得 对 产品 测 坛 有 用 的 信息 ， 而 不 会 跟着 需 
求 工 程 师 或 者 开 友 人 员 的 思路 跑 了 。 


2 .以 需求 工程 师 或 开 友 的 视角 来 问 问题 


准备 好 需要 沟通 的 问题 后 ， 接 下 来 当然 就 是 要 进行 沟通 。 正 如 我 们 前 面 讨 论 的 那 
样 ， 在 沟通 的 时 候 ， 我 们 需要 对 事 ， 也 要 对 人 “， 即 我 们 应 该 以 需求 工程 师 或 开 友 的 
视角 来 问 间 题 。 


下 面 我 们 以 测试 和 人员 和 开 友 人 员 沟 通 为 例 。 


小 李 和 开 友 人 员 小 王 的 一 次 沟通 


小 李 想 残 xx 特 性 的 实现 和 测试 与 开 友 人 员 进 行 一 次 沟通 : 


小 李 : xx 特性 你 部 得 需要 ' 乓 么 测试 ? 


小 王 : 这 个 特性 比较 重要 ， 你 全 面 测试 一 下 吧 。 


小 李 : xx x 地 方 是 怎么 设计 的 呀 ? 


小 王 : 这 个 一 下 子 襄 不 清楚 ， 你 看 一 下 文档 ， 文 档 中 都 写 看 呢 。 


这 个 例子 并 非 我 杜撰 ， 类似 的 沟通 场景 在 测试 工作 中 随处 可 见 ， 整 个 沟通 弥漫 着 一 
种 “ 话 不 投机 ”的 氛围 一 一 可 能 此 时 开 友 人 员 小 王 的 心里 也 正在 咬 咬 : “设计 是 我 
的 事情 ， 难 道 测 试 不 是 测 坛 人 员 该 考虑 的 问题 吗 ? ”显然 ， 我 们 是 很 难 通过 这 样 的 
沟通 来 获取 对 测试 真正 有 用 的 信息 的 。 究 其 原因 ， 小 李 最 大 的 问题 残 是 始终 站 在 测 
试 的 角度 提问 题 ， 希望 开 发 能 够 直接 给 出 “怎么 测 ” 的 建议 。 小 李 需 要 的 是 多 站 在 
开 友 的 角度 来 问 问题 ， 这 样 才 容 易 获得 比较 多 的 信息 ， 然 后 再 对 信息 进行 分 析 加 
工 ， 获 得 对 产品 测 坛 有 用 的 信息 。 





当然 ， 我 们 并 不 是 要 求 小 李 和 开 友 人 员 沟 通 讨论 产品 实现 、 编 码 的 细节 ， 而 是 希望 
小 李 能 够 从 开 及 人 员 关 注 、 理 解 的 概念 入 手 来 进行 沟通 ， 让 沟通 从 话 不 投机 ， 变 得 
彼此 能 有 更 多 的 共同 语言 。 我 们 来 看 一 下 小 李 换 成 这 种 沟通 方式 后 的 效果 ，。 


小 李 和 开发 人 员 小 王 的 几 次 沟通 ( 二 ) 

小 李 想 就 xx 特 性 的 实现 和 测试 与 开发 人 员 进 行 一 次 沟通 : 

小 李 : xx 特性 是 全 新 开发 的 还 是 继承 的 ? 

小 王 : 基本 都 是 继承 xx 产品 的 ， 我 主要 做 的 是 移植 和 适 配 的 工作 。 

小 李 : 那 你 主要 修改 了 哪些 ， 新 写 了 哪些 ? 

小 王 : 大 的 流程 我 都 没有 改 ， 和 xx 产品 中 的 处 理 都 是 一 样 的 。 我 主要 改 了 xx x。 


小 李 : 好 。 这 是 我 根据 你 的 文档 画 的 一 个 业务 处 理 的 流程 图 ， 你 帮 有 我 看 看 我 的 理解 
对 吗 ? 


( 小 王 开始 看 小 李 画 的 处 理 流程 图 ， 双 方 开始 沟通 .…… ) 


小 李 : 对 了 ， 你 刚刚 说 我 们 的 功能 是 从 x x 产品 继承 来 的 ， 但 是 x x 产品 的 规格 比 我 
们 低 多 了 ， 性 能 上 我 们 有 没有 进行 一 些 设计 和 改动 呢 ? 


小 王 : 性 能 那 块 是 小 张 在 负责 ， 我 们 还 没有 沟通 过 ， 目 前 还 没有 考虑 ， 我 可 以 再 和 
他 沟通 一 下 ， 可 能 在 x x x 处 限制 上 确实 有 点 问题 。 


小 李 : 好 ， 那 你 们 沟通 元 了 跟 我 说 一 下 结论 。 


全 新 开发 、 继 承 、 业 务 流程 图 、 规 格 这 些 都 是 开发 天 注 并 且 理 解 的 内 容 ， 从 这 些 内 
容 入 手 进 行 沟通 ， 小 王 的 话 明 显 变 多 了 。 这 个 特性 是 “继承 特性 ”， 开 上 友 的 主要 方 
式 是 “进行 代码 移植 ” ，“ 开 发 主要 的 改动 点 有 哪些 ” “新 的 业务 流程 ”小 李 都 沟 
通 清 楚 了 ， 尽 管 整 个 沟通 没有 提 过 一 次 “怎么 测 ”， 但 是 相信 小 李 已 经 心中 有 数 
了 。 

沟通 也 是 个 相互 司 友 的 过 程 。 有 经 验 的 测试 人 员 往 往 理解 用 户 的 使 用 习惯 和 用 户 的 
天 注 点 ， 能 够 帮助 需求 工程 师 和 开 友 人 员 更 好 地 理解 用 户 场景 ， 确 定 需求 的 优先 
级 ， 而 且 测 试 痢 对 产品 哪些 地 方 容易 出 问题 往往 特别 敏感 。 小 李 融 提 到 了 产品 可 能 
会 有 性 能 方面 的 问题 ， 这 部 分 问题 正好 是 小 王 目前 没有 考虑 到 的 地 方 ， 帮 助 小 王 预 
防 了 缺陷 。 


3 .总 结 、 跟 踪 和 确认 


有 时 候 我 们 需要 分 多 次 进行 沟通 ， 这 残 需要 我 们 及 时 总 结 本 次 沟通 的 结论 和 需要 进 
一 步 跟踪 或 确认 的 事情 ， 并 且 确 定 下 一 次 沟通 的 时 间 和 主题 。 


以 小 李 和 小 王 的 沟通 为 例 。 小 李 和 小 王 沟通 时 ， 遗 留 了 一 个 和 性 能 相关 的 问题 ， 这 


时 小 李 可 以 记录 如 下 : 


小 李 在 和 小 王 沟通 后 的 遗留 问题 见 表 5-1。 


表 5-1 遗留 问题 跟 路 表 


序号 问题 描述 下 次 沟通 时 间 
六 榴 多 


1 x x 特性 在 性 能 上 的 处 理 限制 可 能 有 问题 ， 待 和 小 王 再 进行 确认 





5.1.3 和 测试 团队 成 员 沟 通 

对 一 个 测试 团队 来 说 ， 测 试用 例 和 产品 缺陷 是 主要 输出 。 测 试用 例 质量 的 好 坏 ， 会 
影响 测试 执行 ; 测试 执行 又 会 影响 到 产品 缺陷 的 发 现 ， 影 响 产品 质量 。 产 品 测试 的 
各 项 活动 就 像 链 条 ， 一 环 一 环 紧 密 相 扣 。 哪 一 个 环节 出 了 问题 ， 都 会 严重 影响 后 续 
环节 。 软 件 测试 架构 师 作为 测试 团队 的 首席 技术 官 ， 通 过 制定 测试 策略 来 保证 测试 
活动 的 顺利 进行 ( 关于 测试 策略 的 制定 ， 请 参见 本 书 第 6~8 章 ) ， 测 试 策略 制定 好 
后 ， 需 要 和 测试 团队 沟通 ， 统 一 策略 中 的 目标 、 思 路 和 方法 。 软 件 测试 架构 师 在 进 
行 这 些 沟通 的 时 候 ， 需 要 注意 哪些 问题 呢 ? 

我 们 先 来 看 下 面 这 个 小 故事 。 

小 故事 : 郁闷 的 小 李 


小 李 是 xx 公司 的 软件 测试 架构 师 。 目 前 他 所 在 的 项 目 正 处 在 测试 设计 阶段 ， 但 是 他 
却 很 郁 问 。 


小 李 : 郁 问 死 了 。 


我 : 怎么 了 ? 


小 李 : 你 说 小 王 是 咱 回 事 啊 ， 测试 策 略 里 面 写 得 清 清楚 楚 ，x x 特性 在 这 个 版 本 里 面 
不 是 重点 特性 ， 结 果 他 给 我 整 了 几 百 个 测试 用 例 ! 


我 : 这 说 明 你 的 小 伙伴 很 积极 嘛 ， 至 于 这 么 郁 闵 吗 。 


小 李 : 关键 是 ， 他 的 用 例 写 得 粗 的 粗 、 细 的 细 ,我 看 除了 他 自己， 别人 都 没 法 执 
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们 。 


我 : 哦 ， 那 让 他 改 改 吧 。 


小 李 : 唉 ， 这 会 儿 都 评审 了 ， 下 周 就 正式 测试 了 ， 来 不 及 了 。 


我 : 哦 。 


小 李 : 不 光 是 小 王 ， 小 苏 写 的 用 例 也 有 问题 ， 设 计 得 太 简 单 了 ， 得 补 。 


我 : 嗯 ， 估计 得 让 大 家 加 班 改 了 吧 。 还 有 ， 可 能 你 之 前 没有 给 大 家 说 清楚 吧 。 


小 李 : 唉 ， 可 能 是 没有 训 清 楚 吧 。 但 是 你 说 ， 测 试 策略 都 写 得 那么 清楚 了 ， 怎 么 大 
家 都 不 仔细 看 呢 ?就算 我 没有 写 明 白 ， 也 要 提前 问 啊 ， 但 大 家 都 不 问 。 我 也 不 知道 
还 能 再 况 些 什么 了 。 


浊 


想 不 管 是 谁 ， 遇 到 类 似 的 情况 ， 都 会 党 得 很 郁 问 : 在 布置 任务 的 时 候 ， 我 们 第 单 
感 竞 大 家 对 任务 已 经 清楚 了 ， 但 最 后 的 结果 却 不 是 那么 回 事 ， 而 且 所 有 的 问题 总 是 
在 最 后 一 刻 爆 上 及， 让 人 拉手 不 及 。 我 们 访 如 何 应 对 这 样 的 问题 呢 ? 


解决 方法 残 是 主动 进行 反复 的 沟通 。 


软件 测试 架构 师 永 远 都 不 要 期 望 通过 一 篇 文档 、 一 封 邮 件 或 是 一 次 会 议 下 能 让 你 团 


队 中 所 有 成 员 都 能 充分 理解 任务 ， 明 日 最 后 要 做 成 什么 样子 。 就 拿 小 李 提 的 “设计 
测试 用 例 时 要 注意 粒度 ， 不 要 写 得 太 粗 ， 也 不 要 写 得 太 细 ”来 说 ， 这 本 身 就 是 一 个 
有 些 开放 的 要 求 ， 不 同 的 人 ( 有 测试 用 例 编写 经 验 的 人 ， 没 有 测试 用 例 编写 经 验 的 
人 ) ， 对 这 个 要 求 的 理解 都 会 不 同 ， 这 就 需要 小 李 在 团 队 进行 测试 设计 的 过 程 中 ， 
再 反复 沟通 ， 不 断 澄 清 ， 如 图 5-1 所 示 。 





图 5-1 反复 沟通 示意 图 

在 布置 任务 时 ， 先 对 任务 进行 简要 介绍 ， 让 团队 每 个 成 员 都 理解 任务 的 目标 。 
B) 

说 明 在 实际 项 目 中 ， 介 绍 和 讲 清 目标 这 两 个 环节 也 可 以 由 测试 经 理 来 负责 完成 。 


然后 就 是 讲解 完成 此 任务 的 方法 。 此 时 软件 测试 染 构 师 需要 考虑 的 是 采用 “保姆 式 
手把手 地 教 ”， 还 是 “教练 式 的 指导 ”或 是 “将 军 式 的 完全 放手 ”。 


接 下 来 需要 沟通 的 丈 是 举例 。 并 不 是 说 这 些 例子 要 在 任务 开始 的 时 候 束 一 下 子 列举 
出 来 ， 而 是 应 该 在 整个 任务 完成 的 过 程 中 ， 根 据 项 目 当 前 的 进展 和 问题 ， 来 有 针对 
性 地 举 一 些 例子 。 例 如 在 任务 开始 的 时 候 ， 举 一 些 正面 的 、 通 用 的 例子 ， 在 任务 进 
行 的 时 候 ， 再 补充 一 些 反 面 的 、 特 殊 的 例子 。 友 现 团 队 中 存在 一 些 具有 普遍 性 的 问 
题 时 ， 也 可 以 在 团队 内 部 进行 沟通 、 湾 清 。 


最 后 就 是 忆 结 。 


些 “开放 性 ”要 求 的 认识 ， 提 高 


通过 辟 结 来 固化 方法 ， 统 一 团队 对 一 些 问题 的 要 求 ， 
团队 的 协作 性 。 


特别 是 对 那 


需要 特别 提出 的 是 ， 这 里 的 反复 沟通 ， 不 是 一 饥 又 一 遍地 重复 忠明 ， 而 是 试 寿 从 不 
同 的 角度 来 把 任务 搞 述 得 更 加 清楚 。 


我 们 来 看 一 个 例子 。 


通过 反复 沟通 来 保证 团队 对 测试 用 例 设 计 的 要 求 理解 达成 一 致 


软件 测试 染 构 师 小 李 已 
沟通 本 次 测试 设计 的 要 求 。 我 们 来 看 看 小 李 是 


小 李 : xx 


对 完成 了 测试 策略 并 通过 了 评审 ， 接 下 来 他 需要 和 团队 成 员 
如 何 进行 沟通 的 。 


产品 项 目 是 一 个 补丁 版 本 ， 这 个 版 本 需要 交付 的 特性 只 有 特性 A、 特 性 B 和 


特性 C3 个 ， 特 性 A 和 特性 B 是 在 主线 版 本 对 应 特性 上 的 增强 ， 特 性 Cc 是 一 个 新 特性 。 


-目标 对 齐 


小 李 : 这 个 


用 例 。 


注 的 内 容 。 


方法 沟通 


其 中 特性 A 和 特性 B 会 立即 商用 ， 
标 ， 在 第 6 章 中 还 将 为 大 家 进行 详细 介绍 ) 。 
可 靠 性 方面 的 要 求 很 高 ; 
户 对 此 特性 的 表现 和 反馈 


项 目 周期 只 有 两 个 月 ， 我 们 要 在 本 月 底 完 成 所 有 特性 的 分 析 ， 输 出 测试 
需要 达到 “完全 商用 ”的 标准 ( 产品 质量 目 
特别 是 特性 A， 在 质量 方面 ， 对 性 能 和 
特性 c 目 前 的 定位 是 “演示 特性 ”， 主 要 是 用 于 前 期 收集 用 
, 所 以 易 用 性 和 功能 方面 是 我 们 在 这 次 测试 中 需要 重点 关 


小 李 : 根据 测试 策略 ， 特 性 A 和 特性 B 是 这 次 的 测试 重点 ， 需 要 考虑 的 地 方 分 别 包 
括 .…..( 此 处 省 略 ) 。 大 家 在 用 例 设 计时 ， 注 意 使 用 “路 径 分 析 法 ”“ 判 定 

表 ”“Pairwise” 等 方法 来 系统 进行 用 例 设计 ， 我 这 边 有 相关 模板 ( 模板 请 参见 附 
件 ) 供 大 家 参考 。 设 计 用 例 时 ， 和 要 注意 用 例 的 组 织 方式 、 摘 述 和 用 例 的 粒度 ， 都 要 
符合 我 们 组 内 部 的 《用 例 设计 指导 规范 》。 


-举例 1 
小 李 : 这 是 之 前 xx x 输 出 的 测试 用 例 ， 大 家 可 以 在 编写 测试 用 例 时 参考 。 


上 述 4 个 方面 ， 可 能 在 一 次 沟通 会 议 中 束 能 讲 完 。 如 果 我 们 的 沟通 到 这 里 融 结 束 了 ， 
最 后 输出 的 测试 用 例 可 能 无 法 达到 小 李 期 望 的 效果 。 接 下 来 我 们 看 小 李 是 如 何 根据 
测试 团队 的 具体 情况 来 进行 反复 沟通 的 。 


由 于 这 个 测试 团队 是 一 个 新 员工 较 多 的 测试 团队 ， 很 多 同事 并 没有 做 过 测试 设计 。 
即使 小 李 给 出 了 参考 的 测试 用 例 ， 在 首次 设计 用 例 的 时 候 ， 他 们 也 难免 会 遇 到 不 少 
问题 。 因 此 小 李 决定 采用 “保姆 式 手把手 教 ”的 方式 ， 来 带 这 个 年 轻 的 团队 完成 一 


次 测试 设计 。 


小 李 按 照 测 试用 例 设计 的 步 又， 为 这 个 团队 设计 了 几 个 内 部 沟通 点 ， 分 别 为 测试 分 
析 、 用 例 组 织 框 染 确 定 、 用 例 标 题 确定 和 测试 步骤 与 预期 结果 输出 。 在 每 个 内 部 沟 
通 点 针对 各 个 主题 来 进行 深入 的 沟通 。 


举例 2 : 测试 分 析 的 沟通 。 


小 李 : 接 下 来 我 们 要 开始 进行 的 活动 是 “测试 分 析 ”。 对 xxx 特 性， 要 分 别 从 单 功 
能 、 功 能 交互 和 质量 属性 这 些 方面 分 析 测 试点 ; 分 析 完 后 ， 可 以 使 用 我 们 推荐 的 工 


程 方法 进行 测试 设计 。 这 是 我 做 的 一 个 例子 .….. ( 此 处 略 ) 。 我 也 看 了 x xx 做 的 例 
子 ， 有 个 问题 是 .….. ( 此 处 略 ) ， 大 家 也 可 以 注意 一 下 ( 这 部 分 的 具体 方法 ， 请 参见 
4.4 节 ) 。 


举例 3 : 测试 用 例 的 组 织 结构 的 沟通 。 


小 李 : 大 家 的 测试 分 析 都 做 完了 ， 接 下 来 我 们 要 确定 测试 用 例 的 组 织 结构 了 。 用 例 
的 组 织 有 几 种 原则 ， 比 如 .…… ( 略 ) ， 这 是 我 的 输出 ， 我 是 按照 xx 思路 来 组 织 的 ， 
大 家 在 组 织 用 例 时 可 以 参考 一 下 。 这 几 个 问题 是 在 做 这 部 分 工作 时 容易 犯 的 ， 请 大 
家 看 看 这 几 个 错误 的 例子 …… ( 略 ) 。 ( 这 部 分 的 具体 方法 ， 请 参见 5.2 节 。 ) 


举例 4 : 确定 测试 用 例 标题 的 沟通 。 


小 李 : 这 是 测试 设计 最 困难 的 地 方 ， 大 家 可 以 先 看 一 下 我 这 个 例子 .…… ( 略 ) ， 在 做 
这 项 活动 需要 注意 的 是 .….. ( 略 ) 。 ( 这 部 分 的 具体 方法 ， 请 参见 5.2 节 。 ) 


举例 5 : 编写 测试 步骤 和 结果 的 沟通 。 


具体 万 法 ， 请 参见 5 .2 节 。 ) 


相信 通过 这 一 系列 扎实 的 、 反 复 的 沟通 ， 即 使 这 是 一 个 很 年 轻 的 团队 ， 也 可 以 输出 
质量 不 错 的 测试 用 例 。 


5.1.4 和 领导 或 投资 决策 者 沟通 


对 领导 或 投资 决策 者 来 说 ， 他 们 一 般 不 会 太 关 注 测 试 的 细节 ， 而 会 更 天 心 下 面 所 列 


内 容 : 


产品 测试 结果 和 产品 的 质量 评估 结论 。 


.重要 bug。 

重要 风险 。 

:进度 。 

因此 我 们 在 和 他 们 沟通 时 ， 首 先 要 避免 陷入 沟通 产品 测试 的 细节 中 。 在 措辞 方面 ， 


少 用 “可 能 ” “ 感 竞 ”等 这 类 不 确定 的 词语 ， 在 表达 上 也 不 要 轻易 下 结论 ， 尽 量 不 
让 不 好 的 沟通 习惯 在 领导 面前 形成 一 种 不 够 成 熟 稳 重 的 印象 ， 使 领导 对 你 的 基本 素 
质 产生 怀疑 。 


在 沟通 产品 测试 结果 和 产品 的 质量 评估 结论 时 ， 我 们 可 以 将 测试 覆 善 情况 、 质 量 目 
标的 达成 、 遗 留 缺陷 作为 沟通 重点 。 沟 通 内 容 可 以 参考 第 6 章 中 的 质量 评估 模型 。 


重要 bug 需 要 沟通 的 是 当前 进展 、 修 改 方 式 或 规避 措施 。 对 典型 的 缺陷 、 后 续 改 进 计 
划 也 可 以 作为 沟通 内 容 。 


如 果 在 沟通 时 你 友 现 你 对 某 些 信 息 还 不 清楚 ， 束 承认 目 己 不 清楚 ， 并 声明 自己 马上 
会 去 询问 相关 信息 ， 并 承诺 反馈 时 间 ( 承诺 反馈 时 间 非 常 重要 ) 。 


当 你 想 做 一 些 改 革 或 创新 时 ， 最 好 先 和 你 的 直接 领导 沟通 一 下 ， 听 取 他 的 意见 ， 而 
不 要 直接 跨 级 沟通 。 实 际 上 ， 改 革 和 创新 都 是 需要 付出 代价 的 ， 领 导 可 以 站 在 更 高 
的 角度 为 你 审查 ， 帮 你 把 天。 在 这 个 合作 的 时 代 ， 一 些 改 革 和 创新 可 能 还 需要 开发 
人 员 、 系 统 架 构 师 等 其 他 领域 角色 的 配合 ， 远 比 想象 的 复杂 ， 如 果 能 够 得 到 领导 或 


投资 决策 者 的 大 力 支持 ， 束 等 于 成 功 了 一 半 。 如 果 目 前 领导 或 投资 决策 者 对 你 的 改 
时 或 创新 并 不 买账 ， 那 么 建议 将 这 个 想法 先 放 一 下 ， 辐 光 养 临 ， 之 后 找 准 机 会 再 顺 
5.2 写 出 漂亮 的 测试 用 例 


在 第 4 章 ， 我 们 讨论 了 测试 分 析 和 测试 设计 的 技术 。 但 是 我 们 会 发 现 ， 即 使 我 们 熟练 
掌握 了 各 种 测试 设计 技术 ， 写 出 来 的 测试 用 例 也 总 是 那么 不 尽 如 人意， 下 面 这 些 情 
况 在 测试 用 例 中 十 分 常见 : 


:测试 用 例 只 有 作者 才能 看 懂 ， 其 他 人 看 起 来 会 党 得 很 吃力 。 有 时 候 其 他 人 会 恨不得 
把 测试 用 例 拿 来 自己 重 写 一 饥 。 


测试 用 例 由 不 同 的 人 来 执行 ， 结 果 差 别 很 大 。 
有 的 测试 用 例 读 起 来 很 芒 统 ， 有 的 测试 用 例 又 写 得 特别 细 ， 交 度 不 统一 。 


这 襄 明 ， 要 想 写 出 漂亮 的 测试 用 例 ， 光 掌握 那些 测试 技术 是 不 够 的 ， 我 们 还 需要 注 
意 测试 用 例 的 表达 。 事 实证 明 ， 只 要 我 们 在 测试 用 例 表 达 上 稍 加 注意 ， 融 能 大 大 提 
升 测试 用 例 的 质量 。 


5.2.1 测试 用 例 模板 
表 5-2 是 一 个 “测试 用 例 ” 的 编写 模板 。 


表 5-2 测试 用 例 模板 


用 例 编号 预期 结果 





测试 用 例 编号 : 测试 用 例 的 唯一 标记 。 

-用例 标题 : 概述 测试 用 例 的 主要 内 容 ， 明 确 该 测试 用 例 的 意图 。 
预 置 条 件 : 测试 用 例 顺 利 执行 的 前 提 条 件 ， 如 一 些 基本 的 配置 。 
:测试 数据 : 测试 时 使 用 的 测试 数据 。 

测试 步骤 : 如 何 执行 这 个 测试 用 例 ， 每 步 的 操作 是 什么 。 
预期 结果 : 和 测试 步骤 对 应 起 来 ， 操 作 后 希望 系统 的 返回 。 


我 们 在 编写 测试 用 例 之 前 ， 需 要 先 想 一 下 谁 会 用 测试 用 例 ， 那 束 是 测试 执行 者 。 测 
试 执行 者 对 被 测 对 象 应 该 有 所 了 解 ， 有 搭建 测试 环境 的 能 力 ， 并 能 使 用 相关 工具 ， 
是 专业 人 士 。 因 此 我 们 真 没 有 必要 把 测试 用 例 写 得 面面俱到 ， 非常 细致 ， 而 应 该 简 
洁 无 收 义 ， 突 出 测试 用 例 的 目的 ， 摘 述 清楚 关键 的 步骤 和 检查 点 即 可 。 好 的 测试 用 
例 ， 通 过 阅读 标题 ， 残 能 清楚 地 知道 这 个 用 例 的 测试 目的 。 和 测试 目的 密切 相关 的 
步骤 才 会 放 人 在 测试 步骤 中 ， 那 些 基 础 的 操作 步骤 则 是 简洁 地 放 人 在 预 置 条 件 中 ， 使 得 
执行 者 能 够 快速 抓 住 测试 的 重点 ， 并 且 预 期 结果 应 该 是 清楚 准确 、 没 有 上 由 义 的 。 


除 此 之 外 ， 我 们 还 需要 控制 用 例 的 粒度 。 


所 谓 用 例 的 粒度 ， 通 俗 来 讲 束 是 指 一 个 用 例 包含 的 测试 内 容 。 从 项 目的 角度 来 说 ， 
我 们 希望 项 目 中 所 有 测试 用 例 的 粒度 都 是 基本 统一 的 ， 这 样 才 便于 估计 工作 量 和 布 
置 工作 任务 。 从 测试 执行 者 的 角度 来 说 ， 过 细 的 测试 用 例会 让 执行 者 感到 烦琐 、 疫 


惫 ， 过 粗 的 测试 用 例 又 容易 遗漏 掉 检 查 点 。 下 述 经 验 值 可 以 作为 大 家 在 控制 测试 用 
例 粒 度 时 的 参考 : 


测试 用 例 标题 不 要 超过 36 个 汉字 。 


预期 结果 不 要 多 于 5 个 ， 不 要 少 于 1 个 。 
接 下 来 我 们 将 要 讨论 测试 用 例 在 描述 中 需要 注意 的 一 些 技 15。 
5 .2.2 测试 用 例 标题 要 是 一 个 完整 的 句子 


只 有 当 测 试用 例 标题 是 一 个 完整 的 句子 时 ， 读 者 才能 完整 地 了 解 这 个 测试 用 例 的 意 
图 。 推 荐 使 用 如 图 5-2 所 示 的 句 式 。 


在 怎样 的 条 件 下 ， 谁 做 了 怎样 的 事情 ， 得 到 了 怎样 的 结 采 





从 语 (可 选 ) 


图 5-2 推荐 使 用 的 句 式 

举例 : 测试 用 例 标题 描述 

例 1 

修改 前 : 同时 对 源 IP 和 目的 IP 进 行 限 制 。 


所 评 : 缺少 主语 ， 不 知道 对 象 是 什么 ( 其 实 是 个 在 线 抓 包 工具 ) ; 另外 为 什么 要 限 
制 ”测试 目标 不 确定 ( 目标 是 验证 抓 包 工具 能 人 否 只 抓 取 指定 源 IP 和 目的 IP 的 数据 
加 JJ 


修改 后 : 在 线 抓 包 工具 抓 取 指定 源 IP 和 目的 IP 的 数据 包 测 试 。 
例 2 
修改 前 : 防火 墙 转发 带 MSS 选 项 带 TCP_SYN 报 文 测试 。 


所 评 : 没有 明确 条 件 一 一 不 同 的 测试 条 件 会 造成 测试 结果 的 不 同 ， 所 以 在 测试 用 例 
标题 中 最 好 明确 需要 在 怎样 的 条 件 下 进行 测试 。 


修改 后 : 开局 Mss 调整 功能 后 转 友 防火 墙 转 友 囊 MSS 选 项 的 TCP SYN 报 文 测试 。 
5.2.3 用 条 件 而 不 是 参数 来 搞 述 测试 用 例 标 题 


做 完 测试 分 析 ， 我 们 得 到 的 其 实 是 一 些 条 件 集 ( 如 x xx 流程 路 径 、xx x 场景 的 集 
合 ) 和 一 些 数据 集 ( 如 输入 参数 ) 。 这 使 得 测试 用 例 标题 有 两 种 表述 方式 : 


以 条 件 作为 用 例 标题 ; 

以 参数 作为 用 例 标题 。 

哪 种 表达 方式 更 好 ? 让 我 们 来 看 个 具体 的 例子 。 
举例 : 


下 面 这 个 例子 是 “x xx 产品 的 PPPoE 接 口 针 对 TCP 报 文 的 Mss 调 整 功 能 ”的 测试 设 
计 。 该 功能 的 实现 流程 如 图 5-3 所 示 。 


MSS 调整 功能 是 
否 开 启 ? 


是 取 报 文 的 MSS 


MSS 值 > 接口 
MTU—40 


调整 MSS 





图 5-3 实现 流程 
根据 这 个 流程 ， 使 用 路 径 分 析 法 ( 详 见 4.4.4 节 ) ， 可 以 得 到 如 下 线性 无 关 路 径 : 
路 径 一 : PPPoE 接 口 转发 TCP SYN 消 息 ， 调整 MSS。 

路 径 二 : PPPoE 接 口 转发 TCP SYN 消 息 ， 不 调整 MSS。 


路 径 三 : 关闭 PPPoE 接 口 MSs 功 能 ， 转 发 TcP SYN 消 息 。 


路 径 四 : PPPoE 接 口 转发 不 市 MSS 选 项 的 TCP SYN 消 息 。 
上 述 4 条 线性 无 关 路 径 ， 就 构成 了 该 功能 的 条 件 集 。 


根据 这 4 条 路 径 ， 也 可 以 得 到 能 够 覆盖 到 这 些 路 径 的 测试 数据 ， 即 该 功能 的 参数 集 ， 
见 表 5-3。 


表 5-3 参数 集 


ET 1460( 里 认 ) 
测试 数据 1: 需要 防火 墙 PPPoE 接口 调整 MSS 


防火 墙 PPPoE 接口 | 1492 (默认 ) 


[|e liso0 Gi 1460( 昧 认 ) 
测试 数据 2: 需要 防火 墙 PPPoE 接口 调整 MSS 


防火 墙 PPPoE 接口 | 1499 (边界 值 ) 


Rs pe liso0 wn 1460( 点 认 ) 
测试 数据 3: 需要 防火 墙 PPPoE 接口 调整 MSS - 

防火 墙 PPPoE 接口 | 128 (边界 值 ) 
测试 数据 4: 不 需要 防火 墙 PPPoE 接口 调整 MSS 


pe oo TS 
测试 数据 $: 不 需要 防火 墙 PPPoE 接口 调整 MSS 


防火 墙 PPPoE 接口 | 1600 (边界 值 ) 


测试 数据 6: 不 需要 防火 墙 PPPoE 接口 调整 MSS 














如 果 我 们 以 条 件 集 来 作为 测试 用 例 标题 ， 企 这 个 例子 中 ， 每 条 测试 路 径 都 残 可 以 作 
为 一 个 测试 用 例 ， 见 表 5-4。 





表 5-4 测试 路 径 作 为 测试 用 例 


测试 用 例 编 号 测试 用 例 标 题 
测试 用 例 1 PPPoE 接口 转发 TCP SYN 消息 ， 需 要 调整 MSS 
测试 用 例 2 PPPoE 接口 转发 TCP SYN 消息 ,不 调整 MSS 
测试 用 例 3 关闭 PPPoE 接口 MSS 功能 ， 转 发 TCP SYN 消息 


测试 用 例 4 PPPoE 接口 转发 不 带 MSS 选项 的 TCP SYN 消息 


如 果 我 们 以 参数 集 来 作为 测试 用 例 标 题 ， 在 这 个 例子 中 ， 每 组 参数 的 取 值 都 可 以 作 
为 一 个 测试 用 例 ， 见 表 5-5。 





表 5-5 参数 的 取 值 作为 测试 用 例 


测试 用 例 编号 测试 用 例 标题 

测试 用 例 1 防火 墙 PPPoE 接口 的 MTU 值 为 默认 ，PC 的 MTU 值 也 为 默认 

测试 用 例 2 防火 墙 PPPoE 接口 的 MTU 值 为 1499，PC 的 MTU 值 为 默认 

测试 用 例 3 防火 墙 PPPoE 接口 的 MTU 值 为 128，PC 的 MTU 值 为 默认 

( 续 ) 

测试 用 例 编号 测试 用 例 标题 

测试 用 例 4 防火 墙 PPPoE 接口 的 MTU 值 为 1300，PC 的 MTU 值 也 为 默认 

测试 用 例 $ 防火 墙 PPPoE 接口 的 MTU 值 为 1600，PC 的 MTU 值 为 默认 

测试 用 例 6 防火 墙 PPPoE 接口 的 MTU 值 为 128，PC 的 MTU 值 为 128 


两 者 对 比 我 们 可 以 友 现 ， 使 用 条 件 来 作为 测试 用 例 标 题 ， 和 使 用 参数 相 比 ， 前 者 更 
能 突出 设计 这 个 测试 用 例 的 目标 ， 也 易于 读者 理解 测试 用 例 的 设计 意图 ， 也 更 易于 
维护 。 


可 见 ， 在 摘 述 测试 用 例 标题 时 ， 更 适合 用 条 件 ， 而 不 是 参数 。 参 数 更 适合 在 测试 用 
例 模 板 中 的 测试 数据 部 分 体现 ， 不 要 把 它们 罗列 在 测试 用 例 标题 中 。 


5.2.4 如 果 一 个 用 例 中 包含 有 多 个 参数 ， 用 例 中 应 该 是 每 个 参数 的 取 值 


一 个 测试 条 件 ， 可 能 会 有 多 个 参数 ， 这 些 参 数 又 可 能 会 取 不 同 的 值 。 我 们 在 写 测试 

用 例 的 时 候 ， 应 该 对 涉及 的 每 个 参数 给 出 确定 的 值 。 如 图 5-4 所 示 ， 这 个 测试 条 件 包 
含 了 3 个 参数 ( 分 别 是 “参数 1” “参数 2” 和 “参数 3” ) ，“ 人 参数 1” 有 3 个 参数 值 
(AL1、A2、A3 ) ，“ 人 参数 2” 有 两 个 参数 值 ( B1、B2 ) ，“ 人 参数 3” 有 4 个 参数 值 


(C1、C2、C3、C4 ) 。 


预期 结果 1 


预期 结果 2 
了 项 期 结果 3 





项 期 结果 4 






图 5-4 测试 用 例 中 测试 条 件 和 参数 的 对 应 天 系 

这 时 我 们 在 写 测 试用 例 的 时 候 ， 测 斌 数据 应 该 是 “参数 1” “参数 2” 和 “参数 3” 分 
别 取 一 个 确定 的 值 来 构成 的 参数 组 ， 见 表 5-6。 

表 5-6 测试 数据 的 “参数 组 ” 


测试 数据 上 ”| 测试 数据 


测试 用 例 1 | A1、B1、C1 | 测试 用 例 3 | A3、B2 、C3 
测试 用 例 2 | A2、B2、C2 | 测试 用 例 4 | A3、B2、C4 






而 不 应 该 将 每 个 参数 作为 一 个 测试 用 例 ， 将 这 个 参数 中 的 参数 值 作 为 测试 数据 中 的 
参数 组 ， 分 别 如 图 5-5 所 示 和 见 表 5-7。 





图 5-5 以 参数 作为 测试 用 例 示意 
表 5-7 以 参数 值 作为 测试 数据 举例 


测试 用 例 3 
lB | | 
其 实 上 例 的 用 例 1， 用户 通过 认证 后 ， 访问 服务 ，38 分 钟 内 不 需要 再 次 认证 ， 惑 是 将 
一 个 参数 的 所 有 取 值 作为 一 个 测试 用 例 来 设计 的 。 这 个 参数 是 用 尸 认证 ， 本 例 中 用 
尸 认证 这 个 参数 中 包含 5 个 取 值 : 普通 用 户 + 密 码 、 普 通用 尸 + 数字 证 书 、 高 级 用 户 

+ 数字 证 书 、 高 级 用 户 + 动 态 密 码 和 高 级 用 户 + 数字 证 书 + 动 态 密码 。 本 例 将 这 5 个 测试 
数据 设计 在 一 个 测试 用 例 里 面 ， 导 致 这 个 用 例 变 得 太 大 ， 粒 厦 难 于 控制 。 事 实 上 ， 
这 每 个 取 值 都 应 该 是 一 个 单独 的 测试 用 例 。 







测试 数据 
Gl C3 64 


测试 用 例 
测试 用 例 1 
测试 用 例 2 


















举例 


测试 条 件 : 用 户 通 过 认证 后 ， 访 问 服务 ，38 分 钟 内 不 需要 再 次 认证 


测试 参数 : 


参数 1 : 用 户 认 证 类 型 


1 彰 通 用 户 
， 高 级 用 户 





动态 位 
数字 证 书 + 动态 密码 








1 高 级 用 户 + 动态 密码 
2 高 级 用 户 + 数字 证 书 + 动态 密码 
3 高 级 用 上 1 十 数字 证 书 


编写 出 的 测试 用 例 应 该 为 ( 只 给 出 测试 用 例 标 题 ， 测 试 步骤 等 略 ) ， 见 表 5-8。 


表 5-8 编写 出 的 测试 用 例 


测试 用 例 测试 用 例 标 题 
1 用 户 通过 普通 用 户 + 密码 认证 后 ， 访 问 服务 ，30 分 钟 内 不 需要 再 次 认证 
用 户 通 过 普通 用 户 + 数字 证 书 认 证 后 ， 访 问 服务 ，30 分 钟 内 不 需要 再 次 认证 
3 用 户 通过 高 级 用 户 + 数字 证 书 认 证 后 ， 访 问 服务 ，30 分 钟 内 不 需要 再 次 认证 
4 用 户 通 过 高 级 用 户 + 动态 密码 认证 后 ， 访 问 服 务 ，30 分 钟 内 不 需要 再 次 认证 
5 用 户 通 过 高 级 用 户 + 数字 证 书 + 动态 密码 认证 后 ， 访 问 服务 ，30 分 钟 内 不 需要 再 次 认证 


而 不 应 该 是 这 样 ， 见 表 5-9。 


表 5-9 错误 的 测试 用 例 


测试 用 例 测试 用 例 标题 
1 不 同 的 用 户 类 型 ， 访 问 服 务 ，30 分 钟 内 不 需要 再 次 认证 
多 用 户 认 证 方式 遍历 测试 


5.2.5 不 要 在 测试 用 例 中 引用 别 的 测试 用 例 

在 编写 测试 用 例 时 ， 不 宜 在 测试 步骤 中 又 引用 别 的 测试 用 例 。 

举例 : 在 测试 用 例 中 引用 别 的 测试 用 例 ( 表 5-16 ) 

测试 用 例 1 : 用 户 通过 认证 后 ， 访 问 服务 ，368 分 钟 内 不 需要 再 次 认证 。 
测试 用 例 2 : 用 户 认 证 通过 后 ， 超 过 368 分 钟 重新 认证 后 访问 服务 。 


表 5-16 引用 其 他 测试 用 例 


预 置 条 件 测试 数据 测试 步骤 预期 结果 
(1 ) 执行 测试 用 例 1; 
(2 ) 等 待 超过 30 分 钟 ， 该 用 户 再 


[check1] 用 户 不 能 正常 访问 服 
认证 方式 : ey 务 ， 系 统 提 示 不 需要 再 次 认证 ; 
es :| i a 能 
听 - 昔 各 们 3 i ei check2 新 了 从 址 后 ， 能 
“| “37 用 户 再 次 认证 后 ， 重 新 访问 服 | ee 
够 正常 访问 服务 
苍 [check2] 


系统 已 经 有 用 户 的 信息 





在 上 面 的 例子 中 ， 我 们 在 测试 用 例 2 的 测试 步骤 1 中 ， 又 引用 了 测试 用 例 1。 这 样 编写 
测试 用 例 ， 会 使 得 测试 用 例 的 内 容 变 多 ， 不 仅 测 试 执行 者 在 执行 用 例 时 容易 遗漏 ， 
也 不 利于 测试 计划 的 安排 ， 还 会 给 后 期 用 例 的 修改 、 维 护 和 移植 市 来 麻烦 。 


我 们 会 在 测试 用 例 中 引用 另外 一 个 测试 用 例 ， 在 很 大 程度 上 是 因为 用 例 在 执行 中 存 
在 先后 天 系 ， 即 测试 用 例 2 一 定 会 在 测试 用 例 1 之 后 执行 。 这 时 我 们 可 以 考虑 这 样 来 


编写 测试 用 例 : 


方法 1 : 把 测试 用 例 1 和 测试 用 例 2 合 并 成 一 个 大 的 测试 用 例 。 


方法 2 : 把 测试 用 例 1 的 主要 内 容 放 到 测试 用 例 2 的 预 置 条 件 中 。 


方法 1 比较 适合 测试 用 例 1 和 测试 用 例 2 都 比较 简单 的 情况 ， 相 对 来 说 方法 2 更 通用 一 


些 。 


我 们 来 看 具体 如 何 改造 上 面 这 个 测试 用 例 。 


举例 : 用 方法 1 对 测试 用 例 1 进行 改造 


考虑 合并 测试 用 例 1 和 测试 用 例 2， 得 到 新 测试 用 例 3， 见 表 5-11。 测 试用 例 3 : 用 户 
通过 普通 用 尸 + 密码 认证 后 ， 访问 服务 测试 。 


表 5-11 测试 用 例 3 


预 置 条 件 测试 数据 测试 步骤 预期 结果 


(1 ) 用 户 访问 服务 ， 服 务 弹 出 页 面 ， 要 求 认证 ; 
(2 ) 用 户 按照 要 求 输 入 用 户 名 和 密码 [check1]; 
《3 ) 


[check1] 用 户 认 证 通过 ; 

[check2] 用 户 能 够 正常 
访问 服务 ， 且 不 震 要 再 次 
认证 ; 

[check3] 用 户 不 能 正常 
访问 服务 ， 系 统 提示 不 需 
要 再 次 认证 


用 户 立 即 再 次 访问 服务 [check2]; 
系统 已 经 有 | 认证 方式 : (4) 等 待 30 分 钟 ， 该 用 户 再 次 访问 服务 
用 户 的 信息 普通 用 户 + 密码 | [check2]; 
) 等 待 超过 30 分钟 ， 该 用 户 再 次 访问 服务 
[check3]; 
) 用 户 再 次 认证 后 ， 重 新 访问 服务 [check2] 





在 测试 用 例 3 中 ， 步 骤 1~ 步 又 4 即 为 原 测试 用 例 1 的 步 又， 步骤 5~ 步 骤 6 为 原来 测试 用 
例 2 的 步骤 。 


举例 : 用 方法 2 对 测试 用 例 2 进行 改造 


我 们 考虑 将 测试 用 例 1 中 的 主要 内 容 ， 忆 结 为 测试 用 例 2 的 预 置 条 件 ， 见 表 5-12。 测 
试用 例 2 : 用 户 通 过 普通 用 户 + 密码 认证 后 ， 超 过 36 分 钟 重新 认证 后 访问 服务 


表 5-12 测试 用 例 2 的 预 置 条 件 
预 置 条 件 测试 数据 测试 步骤 预期 结果 





1. 系统 已 经 有 (1 ) 等 待 超过 30 分 钟 ， 该 用 户 再 | [checkl] 用 户 不 能 正常 访问 服务 ， 
用 户 的 信息 ; 认证 方式 : 次 访问 服务 [check1]; 系统 提示 不 需要 再 次 认证 ; 

2. 用 户 通 过 认 普通 用 户 + 密码 (2 ) 用 户 再 次 认证 后 ,重新 访问 [check2] 用 户 重 新 认证 后 ， 能 够 正 
证 后 ， 访 问 服务 服务 [check2] 常 访问 服务 


其 中 用 户 通 过 认证 后 ， 访 问 服务 ， 融 是 对 原 测 试用 例 1 的 概要 摘 述 。 


5.2.6 避免 测试 用 例 中 包含 过 多 的 用 户 接口 细节 


在 介绍 测试 用 例 模板 时 ， 我 们 已 经 提出 用 例 执行 者 应 该 是 专业 人 士 ， 测 试用 例 不 必 
写 得 面面俱到 。 我 们 来 看 下 面 的 例子 。 


举例 : 在 测试 步骤 中 摘 述 得 面面俱到 的 测试 用 例 


测试 用 例 4 : 首次 购物 的 用 户 ， 先 选择 物品 ， 表 登录 系统 购物 测试 ， 见 表 5 -13。 


表 5-13 测试 用 例 4 


预 置 条 件 预期 结果 
(1) 用 户 i 站 ， 选 择 特定 的 | [checkl] 系统 验 pe 
商品 类 型 ; 信息 ， 发 现 用 户 没 有 登 ; 
(2 ) 用 户 选择 需要 购买 的 商品 和 数量 , | 页 面 跳 转 到 登录 页 面 ; 
点 击 结账 [check1]; [check2] 和 统 提示 用 户 
) 用 户 输入 正确 的 JP 和 密码 ， 登录 成 功 ， 并 将 页 面 跳 转 
) 用 户 首 次 注册 ok [check2]; 到 用 户 详 细 信 息 页 面 ; 
成 功 ， 但 从 未 成 功 购物 ， 4) 用 让 输 和 下 的 姓名 、 稚 道 地 址 、 heck3 py 7 :用 中 
(未 填写 过 用 户 信息 ); 租 入 正 硝 的 姓名 、 舍 二 | 攻 Se 3 区 下 
2 ) 用 户 在 购物 前 并 有 、 邮 编 、 电 话 号 码 ， | 详细 信息 更 新 成 功 ， 转 到 
Ma 网 银 支 付 页 面 ; 


没有 登录 购物 网 站 0 
) 用 户 输入 正确 的 信用 卡 卡号 、 开 | [check4] 系统 提示 支付 


户 银行 、 有 效 期 、 信 用 卡 类 型 ， 然 后 点 | 信息 输入 成 功 ， 转 到 支付 
击 ok[check4] ; 确认 页 面 ; 

) 用 户 确认 产品 、 地 址 和 信用 卡 卡 | [checks] 系统 显示 购物 
号 后 ， 点 击 确认 付款 [check5] 成 功 





这 个 测试 在 测试 步骤 中 搞 述 了 很 多 用 户 接口 细节 ， 如 : “用 户 输 入 正确 的 ID 和 密 

码 ”“ 用 户 输入 正确 的 姓名 、 街 道 地 址 、 城 市 、 州 、 邮 编 、 电 话 号 码 ” “用 户 输入 
正确 的 信用 卡 卡号 、 开 户 银 行 、 有 效 期 、 信 用 卡 类 型 ”， 并 且 还 不 扎 描 述 “ 操 击 

ok”“ 扎 击 确认 付 丈 ”等 操作 。 过 多 的 细节 使 得 测试 执行 者 无 法 快速 抓 住 用 例 执行 
步骤 的 重点 ， 而 且 一 旦 产品 在 细节 的 设计 上 有 所 变化 ， 测 试用 例 也 需要 修改 ， 不 利 
于 测试 用 例 的 后 期 维护 。 


所 以 用 例 步骤 最 好 是 对 系统 操作 的 概括 描述 ， 无 须 叙述 所 有 细节 。 基 于 这 个 思路 ， 
我 们 来 对 测试 用 例 4 进行 改造 


举例 : 改造 测试 用 例 4 
测试 用 例 4 : 首次 购物 的 用 户 ， 移 选择 物品 ， 再 登录 系统 购物 测试 ， 见 表 5-14。 


表 5-14 改造 后 的 测试 用 例 4 


预 置 条 件 
( 1) 用 户 访问 购物 网 站 ， 
选择 特定 的 商品 类 型 ; 
(2) 用 户 成 功 选 择 
需要 购买 的 商品 和 数量 
[checkl] ; 
(1) 用 户 首次 注册 成 功 ， 但 从 录 系 统 
未 成 功 购物 (未 填写 过 用 户 信息 ); | 商品 类 型 : 女装 | [check2]; 
(2) 用 户 在 购物 前 并 没有 登录 | 购买 数量 : 1 件 (4) 用 户 输入 正确 的 网 
购物 网 站 购 地 址 信息 [check3]; 


(5 ) 用 户 输入 正确 的 信 
用 卡 支 付 信 息 [check4]; 

(6) 用 户 确认 产品 、 地 
址 和 信用 卡 信 息 后 确认 付 


多 [check5] 


经 过 改造 后 的 测试 用 例 步骤 是 不 是 看 起 来 清晰 、 简 洁 多 了 ? 


5.2.7 明确 测试 步骤 和 预期 结果 的 对 应 天 系 





[checkl] 系统 验证 用 户 信 
息 ， 发 现 用 户 没 有 登录 ， 页 面 
跳 转 到 登录 页 面 ; 

[check2] 系统 提示 用 户 登 录 
成 功 ， 并 将 页 面 跳 转 到 用 户 详 
细 信 息 页 面 ; 

[check3] 系统 提示 用 户 详 细 
信息 更 新 成 功 ， 转 到 网 银 支 付 
页 面 ; 

[check4] 系统 提示 支付 信 
息 输 入 成 功 ， 转 到 支付 确认 
页 面 ; 

[check5] 系统 显示 购物 成 功 


一 个 测试 用 例 通 弟 会 包含 好 几 个 测试 步骤 和 多 个 预期 结果 。 有 时 候 不 同 的 测试 步骤 
可 能 会 有 相同 的 预期 结果 ， 为 了 摘 述 简便 ， 很 多 测试 用 例 作 者 会 省 略 相 同 的 预期 结 
果 。 另 外 ， 也 不 是 所 有 的 测试 步骤 都 有 预期 结果 ， 一般 是 重要 、 关 键 的 测试 步骤 才 
会 有 预期 结果 。 这 时 我 们 可 以 在 测试 用 例 中 ， 增 加 简单 的 标记 ( 如 [check n] ) 来 


明确 测试 步 又 和 预期 结果 之 间 的 对 应 关系 ， 让 测试 执行 人 员 一 


目 了 然 。 


举例 : 在 测试 用 例 中 增加 [check] 标 记 来 明确 测试 步骤 和 预期 结果 之 间 的 对 应 关系 


( 表 5-15 ) 


表 5-15 测试 步骤 和 预期 结果 之 间 的 对 应 天 系 


有 
用 户 访问 服务 ， 服 务 弹出 页 面 ， 要 求 认证 ; [check1] 用 户 认 证 通过 ; 

用 户 按照 要 求 输入 用 户 名 和 密码 [check1]; [check2] 用 户 能 够 正常 访 
用 户 立 即 再 次 访问 服务 [check2]; 问 服务 ， 且 不 需要 册 次 认证 ; 
等 待 30 分 钟 ， 该 用 户 再 次 访问 服务 [check2]; [check3] 用 户 不 能 正常 访 
等 待 超 过 30 分 钟 ， 该 用 户 再 次 访问 服务 [check3]; | 问 服务 ， 系 统 提示 不 需要 再 
用 户 青 次 认证 后 ， 重 新 访问 服务 [check2] 次 认证 


系统 已 认证 方式 : 
经 有 用 户 普通 用 户 + 
的 信息 密码 





5.2.8 避免 在 测试 步骤 中 使 用 笼统 的 词 


我 们 在 搞 述 测试 步骤 时 ， 需 要 尽量 避免 那些 笼统 的 表述 万 式 ， 如 “上 反复 ” “长 时 
间 ” “大 量 ” 等 。 因 为 这 样 摘 述 ， 不 同 的 测试 执行 者 的 理解 会 有 所 不 同 。 比 如 “ 反 
复 ”， 有 人 会 认为 执行 两 次 融 是 反复 了 ， 有 人 可 能 会 认为 要 执行 全 少 16 次 ， 这 样 吏 
会 造成 测试 执行 上 的 差异 ， 很 可 能 会 达 不 到 测试 的 效果 。 


那么 ， 我 们 在 测试 用 例 中 该 如 何 进 行 描述 呢 ? 

1. 测 试用 例 中 需要 反复 、 多 次 操作 的 描述 方法 

问题 1 : 反复 执行 接口 up/down 的 操作 

解决 方法 1 : 在 测试 用 例 中 确定 反复 的 具体 次 数 。 
修改 1 : 反复 执行 接口 up/down 操 作 168 次 。 

解决 方法 2 : 也 可 以 为 测试 用 例 确定 一 个 反复 的 范围 。 
修改 2 : 反复 执行 接口 up/down 操 作 至 少 168 次 。 


解决 方法 3 : 如 果 反 复 多 次 执行 某 个 操作 多 次 后 ， 会 出 现 某 种 特定 的 效果 ( 例如 内 存 
会 升 高 到 某 个 特别 值 ) ， 但 是 需要 反复 执行 多 少 次 这 样 的 操作 却 并 不 确定 ， 可 以 这 
样 搞 述 。 


修改 3 : 反复 执行 接口 up/down 操 作 ， 和 直至 系统 内 存 值 达到 最 大 值 的 45%。 

2 .测试 用 例 中 需要 长 时 间 测 试 的 描述 方法 

问题 2 : 系统 长 时 间 转 发 HTTP 业 务 。 

解决 方法 1 : 在 测试 用 例 中 确定 长 时 间 的 测试 时 长 。 

修改 1 : 系统 持续 转发 HTTP 业 务 24 小 时 。 

解决 方法 2 : 也 可 以 为 测试 用 例 确 定 一 个 长 时 间 的 测试 时 间 范 围 。 

修改 2 : 系统 持续 转发 HTTP 业 务 至 少 24 小 时 。 

3 .测试 用 例 中 需要 大 量 操作 的 描述 方法 

问题 3 : 大 量 用 户 同时 连接 服务 器 。 

解决 方法 1 : 需要 确定 大 量 的 具体 数量 ， 如 166886、2666。 

修改 1 : 2866 个 用 户 同时 连接 服务 器 。 

解决 方法 2 : 可 以 以 产品 规格 作为 大 量 的 参照 值 ， 如 满 规格 、 系 统 支 持 数 的 56%。 

修改 2 : 满 规格 用 户 同 时 连接 服务 器 。 

本 书 由 “ePUBw.COM” 整 理 ，ePUBw.COM 提供 最 新 最 全 的 优质 
电子 书 下 载 ! ! ! 


三 部 分 修炼 : 软件 测试 淋 构 师 的 核心 


第 6 草 如 何 才 能 制定 好 测试 策略 
第 7 章 测试 策略 实战 攻略 
第 8 章 版 本 测试 策略 和 产品 质量 评估 


从 第 三 部 分 开始 ， 我 们 将 要 讨论 如 何在 产品 测试 中 灵活 应 用 第 二 部 分 介绍 的 测试 技 
术 ; 如 何平 衡 产 品 的 商业 目标 、 成 本 和 技术 ; 如 何 综合 考虑 质量 、 成 本 和 进度 ,来 





确定 “最 适合 ”当前 产品 实际 状况 的 测试 万 式 ， 进 行 刚刚 好 的 测试 一 一 如 何 制 定 我 
们 的 产品 测试 策略 。 这 也 是 作为 软件 测试 架构 师 在 修炼 途中 需要 掌握 的 核心 技能 。 


我 们 将 会 分 三 章 来 讨论 如 何 获 得 这 项 技能 。 


第 6 章 如 何 才 能 制定 好 测试 策略 : 主要 为 大 家 介绍 制定 测试 策略 的 方法 和 技术 。 包 括 
四 步 测试 策略 制定 法 、 产 品质 量 评估 模型 、 风 险 分 析 技 术 和 分 层 测 试 技术 。 其 中 产 
品质 量 评估 模型 可 以 帮助 我 们 快速 确定 产品 质量 目标 ， 在 测试 过 程 中 帮助 实时 调整 
测试 策略 ， 评 估 测 试 结果 ; 风险 分 析 技 术 描 述 了 产品 通用 的 风险 分 析 check1list 和 
针对 老 功 能 进行 风险 分 析 的 方法 ， 能 够 帮助 我 们 基于 风险 来 开展 测试 ， 设 置 测试 优 
先 级 ; 分 层 测试 技术 能 够 帮助 我 们 确定 在 什么 测试 阶段 需要 做 怎样 的 测试 ， 从 而 使 
我 们 可 以 有 条 不 亲 地 完成 测试 目标 。 


第 7 章 测试 策略 实战 攻略 : 本 章 是 对 第 6 章 的 实践 ， 主 要 描述 在 实际 项 目 中 ， 随 着 项 


目的 深入 ， 软 件 测试 架构 师 如 何 一 步 步 制 定 出 测试 策略 。 


第 8 草 版 本 测试 策略 和 产品 质量 评估 : 本 章 也 是 对 第 6 章 的 实践 ， 主 要 拍 述 当 项 目 进 
入 测试 执行 阶段 后 ， 软件 测 试 架构 师 该 如 何 确定 每 个 测试 版 本 的 测试 策略 ， 如 何 跟 
蹊 测 试制 定 ， 如 何 评估 版 本 质量 。 本 书 是 以 传统 瀑布 开 上 友 模 式 来 进行 测试 分 层 的 。 
但 是 里 面 叙述 的 内 容 同 样 适 用 于 各 种 敏捷 、 运 代 开 尽 模 式 。 


第 6 和 章 如 何 才 能 制定 好 测试 策略 


制定 测试 策略 是 软件 测试 架构 师 最 核心 的 拉 能 ， 但 是 要 想 做 好 这 项 工作 并 不 是 一 件 
容易 的 事情 。 本 章 将 围绕 理解 测试 策略 ， 编 写 测试 策略 的 总 体 思路 ， 制 定 测试 策略 
相关 的 技术 、 模 型 和 方法 来 展开 叙述 。 对 有 志 于 成 为 软件 测试 架构 师 的 读者 来 说 ， 
本 章 的 内 容 将 会 是 修炼 之 路 上 的 重要 基础 。 


6.1 理解 测试 策略 
对 软件 测试 架构 师 来 说 ， 制 定好 测试 策略 的 第 一 步 ， 束 是 理解 尼 。 
1. 什 么 是 测试 策略 ? 

“测试 策略 ”通俗 来 讲 束 是 6 个 字 : “ 测 什么 ”和 “怎么 测 ”、。 
具体 来 讲 ， 束 是 答 好 和 严 品 测试 相关 的 六 大 问题 : 
:测试 的 对 象 和 范围 是 什么 ? 


:测试 的 目标 是 什么 ? 


测试 的 重点 和 难点 是 什么 ? 

测试 的 深度 和 广度 ? 

如何 安排 各 种 测试 活动 ( 先 测 试 什么 ， 表 测试 什么 ) ? 
-如何 评价 测试 的 效果 ? 

拿 官 方 的 话 来 说 ， 测 试 荣 略 残 是 指 我 们 将 如 何 开 展 我 们 的 测试 活动 。 


如 果 你 想 看 看 测试 策略 的 例子 ， 不 妨 先 跳 到 本 书 的 7.3.6 节 看 看 轧 体 测试 策略 的 例 
TS 


2 .测试 策略 等 于 测试 万 针 ? 

测试 策略 并 不 等 同 于 测试 方针 ， 但 这 是 很 容易 被 我 们 混淆 的 一 对 概念 。 
那么 什么 是 测试 方针 呢 ? 

测试 方针 是 产品 测试 中 的 通用 要 求 、 原 则 或 底线 。 


通用 是 测试 万 针 的 显著 特点 : 它 不 针对 某 个 特定 产品 ， 而 是 一 个 产品 族 ， 或 是 一 个 
产品 系列 ， 并 且 在 较 长 的 一 段 时 间 内 都 是 适用 的 。 


下 面 是 一 些 测试 方针 的 例子 : 
测试 方针 举例 : 
:产品 的 缺陷 修复 率 要 达到 75%| 以 上 ， 才 能 友 布 。 


- 开 友 转 给 测试 的 版 本 ， 需 要 进行 目测 ， 并 出 具 测 试 报告 。 


对 友 布 版 本 ， 无 论 代码 修改 了 多 少 ， 都 要 对 基本 功能 进行 回归 测试 。 
-产品 升级 后 上 友 现 有 功能 丢失 了 ， 这 类 缺陷 的 等 级 为 严重 。 


测试 策略 仅 针 对 当前 特定 的 产品 版 本 而 言 ， 并 不 像 测 试 方针 那样 具备 通用 性 。 反 过 
来 ， 我 们 倒是 可 以 这 样 理 解 测试 策略 : 

遵循 测试 方针 + 项 目 实际 情况 = 测试 策略 

测试 策略 需要 遵循 测试 方针 ， 并 不 意味 着 我 们 不 能 根据 项 目的 实际 情况 来 对 测试 方 
针 进 行 调整 。 

以 产品 的 缺陷 修复 率 要 达到 75% 以 上 ， 才 能 发 布 这 条 测试 方针 为 例 。 如 果 当 前 某 个 特 
定 产 品 版 本 ， 对 产品 质量 的 要 求 特别 高 ， 在 制定 测试 策略 的 时 候 ， 我们 可 以 考虑 将 
这 条 测试 方针 调整 为 “产品 的 缺陷 修复 率 要 达到 96%| 以 上 ， 严重 以 上 的 缺陷 修复 率 为 
166%” 。 

3 .测试 策略 等 于 测试 计划 ? 

测试 策略 也 不 是 测试 计划 ， 它 们 之 间 的 关系 是 : 通过 测试 策略 确定 的 测试 活动 ， 在 
测试 计划 中 被 拆 解 为 一 个 个 任务 ， 并 为 每 个 任务 确定 工期 、 执 行 的 先后 次 序 和 责任 
人 ， 如 图 6-1 所 示 。 


测试 荣 略 测试 计划 








测试 资源 


图 6-1 测试 策略 与 测试 计划 的 关系 


表 6-1 是 一 个 “测试 计划 ”示例 。 


表 6-1 “测试 计划 ”示例 


任务 名 称 优先 级 
测试 任务 1 辣 
测试 任务 2 中 
测试 任务 3 低 





此 外 ， 测 试 计划 的 制订 者 是 测试 经 理 ， 属 于 测试 管理 的 范畴 。 而 测试 策略 的 制定 者 
是 软件 测试 以 构 师 ， 属 于 测试 技术 的 范畴 。 


4. 测 试 策略 等 于 测试 方案 ? 


根据 我 的 调查 ， 很 多 公司 并 没有 区 分 测试 策略 和 测试 方案 ， 事 实 上 测试 策略 和 测试 
万 案 并 不 相同 。 


1 ) 测试 方案 主要 解决 的 是 特性 在 测试 设计 和 测试 执行 方面 的 问题 


测试 策略 要 解决 的 是 产品 测试 的 六 大 问题 。 显 然 ， 测 试 方 案 要 解决 的 问题 没有 那 
么 “高 大 上 ”， 就 是 如 何 对 特性 进行 测试 设计 和 如 何 安排 这 个 特性 的 测试 执行 ， 具 
体 包括 : 

对 特性 的 需求 、 场 景 、 设 计 进 行 分 析 ， 提 取 测 试点 。 


对 测试 点 选择 合适 的 测试 设计 万 法 ( 如 使 用 怎样 的 测试 设计 模型 、 测 试 数据 的 选 
择 ) ， 生 成 测试 用 例 。 


' 目 动 化 测试 设计 。 


测试 执行 时 需要 按照 怎样 的 顺序 来 执行 这 些 测试 用 例 。 
举例 如 下 : 


测试 方案 模板 ( 以 一 个 “特性 ”为 单位 ) : 
1.xx 特 性 的 场景 

a ) 用 户 场景 摘 述 。 

摘 述 用 户 会 如 何 使 用 这 个 特性 。 

b ) 测试 场景 摘 述 。 


描述 测试 时 会 怎样 模拟 用 户 的 使 用 ， 模 拟 和 实际 的 差别 在 哪里 ， 是 否 会 有 风险 ， 等 


2.xx 特 性 设计 分 析 

a ) 产品 实现 中 的 关键 业务 流程 。 

b ) 重要 的 算法 ( 或 实现 技术 ) 的 分 析 。 
c ) 其 他 需要 注意 的 内 容 分 析 。 

3. xx 特性 测试 分 析 


a ) 测试 类 型 分 析 。 


b ) 功能 交互 分 析 。 

4.xx 特 性 测试 设计 

对 测试 点 使 用 四 步 测 试 设计 法 ， 逐 一 得 到 测试 用 例 。 

以 “ 树 ” 形 结构 来 组 织 这 些 测试 用 例 。 

为 测试 用 例 划 分 优先 级 。 

5. xx 特性 测试 执行 

哪些 测试 用 例 准备 进行 手工 测试 。 

哪些 用 例 计 划 进 行 目 动 化 测试 。 

哪些 地 方 可 能 还 需要 进行 探索 测试 。 

测试 用 例 是 否 需要 考虑 测试 执行 顺序 。 

2 ) 测试 方案 需要 遵循 测试 策略 

测试 方案 需要 遵循 测试 策略 对 具体 某 个 特性 的 测试 深度 和 广度 的 要 求 。 
例如 ， 某 测试 策略 对 特性 A 和 特性 B 的 测试 说 明 ， 见 表 6-2.。 
表 6-2 测试 说 明 


测试 说 明 (测试 深度 和 广度 ) 
ee 面 、 深 入 的 功能 测试 ; 
2. 需要 考虑 各 种 测试 类 型 ， 尤 其 是 可 靠 性 方面 的 测试 
只 需要 了 基本 功能 验证 测试 即 可 





在 编写 特性 A 的 测试 方案 时 ， 我 们 需要 获 藉 “车轮 图 ”所 有 的 内 容 。 而 在 编写 特性 B 
的 测试 方案 时 ， 我 们 只 需要 使 用 “和 车轮 图 ”中 的 “日 运行 正常 值 输入 法 ”和 “ 单 运 
行 边界 值 输入 法 ” 即 可 ， 如 图 6- 2 所 示 。 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 


对 “特性 ， 
汪 b wi 





可 靠 性 测试 法 A i 
异常 值 输入 法 下 ee 。j 单 运行 正常 值 输 大 法 
。 故 隐 植 和 法 放 ! 和 。 单 运 行 边界 值 输入 法 
“稳定 性 测试 法 ”| ; 功能 测试 。 多 运行 顺序 执行 法 
“压力 测试 法 。 J |! SN | 。 多 运行 相互 作用 法 
。 恢 复 测试 法 ”| NS 
性 能 测试 法 

兄 用 性 测试 法 

。 一 致 性 测试 法 

。 可 用 性 测试 法 


可 维护 性 测试 法 


可 移植 性 测试 法 


图 6-2 车 轮 图 

从 责任 人 的 角度 来 说 ， 测 试 策略 的 责任 人 是 软件 测试 染 构 师 ， 而 测试 方案 的 责任 人 
是 各 个 特性 测试 责任 人 。 

6.2 四 步 测 试 策略 制定 法 


通过 上 一 节 的 叙述 ， 大 家 可 能 会 认为 ， 我 们 只 需要 像 做 论述 题 一 样 ， 把 测试 策略 需 
要 关注 的 六 大 问题 逐一 答 一 遍 ， 测 试 策略 就 可 以 制定 好 了 。 但 是 如 果 你 真 的 按照 这 
个 思路 去 操作 ， 马 上 就 会 发 现 很 多 问题 : 


-该 在 什么 时 候 开始 制定 测试 策略 ? 如 果 在 项 目 开 头 进 行 ， 你 会 发 现 很 多 和 测试 策略 
相关 的 内 容 根本 残 还 不 明了 ， 无 从 下 手 ; 如 果 在 项 目 后 期 进行 ， 内 容 是 明了 ， 但 是 
做 测试 策略 的 意义 又 在 哪里 呢 ? 


测试 策略 中 的 每 个 问题 看 起 来 都 不 难 ， 但 要 想 答 好 却 不 简单 ， 有 没有 方法 或 模型 可 
以 帮助 我 们 来 进行 系统 的 思考 和 分 析 ? 


-如何 让 测试 策略 真正 起 到 指导 测试 的 作用 ? 


可 见 ， 我 们 还 是 需要 一 套 方法 来 指导 我 们 制定 测试 策略 的 整个 过 程 ，“ 四 步 测 试 策 
略 制 定 法 ”应 运 而 生 ， 如 图 6-3 所 示 。 


Step1: 明确 “产品 质量 目标 ” 


Step2: 进行 “风险 分 析 ” 





Step4: 进行 “测试 分 层 ” 


图 6-3 四 步 测试 策略 制定 法 
1. 明 确 “ 产 品质 量 目标 " 


明确 “产品 质量 目标 ”是 我 们 在 制定 测试 策略 过 程 中 十 分 关键 的 一 个 步 又。 对 我 们 
而 言 ， 不 仅 需 要 关注 操作 层面 的 具体 方法 ， 更 要 理解 其 中 缠 合 的 测试 策略 思想 。 


1 ) 我 们 的 测试 目标 就 是 让 产品 在 友 布 的 时 候 能 够 满足 事先 约定 的 质量 目标 


对 测试 来 说 ， 我 们 的 测试 目标 就 是 让 产品 在 发 布 的 时 候 ， 能 够 满足 事先 约定 的 质 
目标 。 我 们 制定 测试 策略 ， 也 就 是 为 了 让 产品 经 过 各 种 测试 后 ， 最 后 能 够 达到 质 


目标 ， 可 以 发 布 。 


在 操作 层面 上 ，“ 产 品质 量 评估 模型 ”可 以 用 来 帮助 我 们 确定 产品 的 质量 目标 。 


于 这 个 模型 的 具体 内 容 ， 将 在 6. 3 节 中 为 大 家 详细 摘 述 。 
2 ) 围绕 产品 质量 目标 进行 刚刚 好 的 测试 


我 们 先 来 做 一 个 小 测试 。 下 述 情况 是 否 和 你 有 相符 的 地 万 呢 ? 


:这 是 一 个 新 开发 的 特性 ， 大 家 都 不 熟悉 ， 要 作为 重点 好 好 测试 一 下 。 


:这 个 特性 ， 感 党 没有 什么 用 吧 ， 随 便 测试 一 下 就 好 了 。 

这 个 特性 ， 使 用 的 技术 还 比较 新 ， 要 作为 重点 好 好 测试 一 下 。 
这 个 特性 还 是 很 有 意思 的 ， 好 好 测试 一 下 。 

我 想 在 这 个 特性 中 试 试 x x 测试 方法 。 


如 果 答 案 是 
过 杜 趾 过 
了 部 
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是 
网 


感 吕 ”的 测试 。 


不 赁 感 况 ”，“ 理 性 ”的 测试 是 这 样 的 : 


品质 量 要 求 高 的 是 测试 重点 ， 反之 为 非 重点 。 


H 


肯定 的 ， 说 明 你 充满 好 奇 心 ， 是 个 技术 控 。 但 如 果 你 在 制定 测试 策略 的 
多 地 被 这 些 因素 左右 ， 你 的 测试 将 很 有 可 能 偏离 本 来 的 测试 目标 ， 变 


:产品 质量 要 求 高 的 测试 投入 大 ， 反 之 小 。 
产品 质量 要 求 高 的 要 测 得 深 ， 反之 浅 。 


忌 而 言 之 ， 要 “围绕 产品 质 


量 ” 进 行 。 我 们 并 不 需要 试图 将 每 个 地 方 都 测试 得 全 面 
深入 ，“ 刚 刚好 ” 才 是 我 们 真正 需 


要 追求 的 测试 状态 。 
这 部 分 内 容 ， 我 们 还 将 企 第 7 章 中 为 大 家 详细 讨论 。 
3 ) 将 目标 一 行为 一 评估 形成 闭环 


产品 质量 目标 也 使 得 产品 质量 评估 变 得 可 行 。 对 此 ， 我 们 的 思路 是 这 样 的 ， 如 图 6-4 
所 示 。 


i - a. 
产品 质量 


评估 模型 | i 
是 否 达 到 
质量 目标 ? 





图 6-4 产品 质量 评估 


首先 ， 我 们 将 产品 质量 评估 模型 作用 于 具体 的 产品 ， 得 到 产品 质量 目标 。 
其 次 ， 我 们 根据 产品 质量 目标 来 制定 测试 策略 ， 确 定 接 下 来 的 测试 活动 。 
有 再次， 执行 各 种 测试 活动 。 

最 后 ， 对 测试 效果 进行 评估 ， 评 估 产 品 的 质量 目标 是 否 达 到 |。 


此 时 我 们 的 目标 ( 产品 质量 目标 ) 、 行 为 ( 测试 活动 ) 和 评估 ( 质量 评估 ) 会 形成 
一 个 闭环 。 这 时 测试 策略 就 好 像 一 舟 船 上 的 躬 ， 一 旦 发 现 没有 达到 产品 质量 目标 ， 
我 们 就 调整 测试 策略 ， 让 整个 测试 始终 保持 在 达到 产品 质量 目标 的 航线 上 。 


这 部 分 内 容 ， 我们 还 将 在 第 8 章 中 为 大 家 详细 讨论 。 


对 产品 而 言 ， 质 量 目标 可 能 最 后 都 是 能 够 满足 用 户 的 商用 需求 。 虽 然 产 品质 量 评估 
模型 可 以 帮助 分 解 质量 目标 ， 让 我 们 能 够 基于 质量 目标 来 制定 测试 策略 ， 保 证 产品 
发 布 时 的 质量 可 控 、 可 评估 ， 但 是 我 们 在 执行 测试 策略 的 时 候 ， 却 总 能 感到 些许 困 
惑 和 无 奈 : 


` 想 要 上 顺利 完成 测试 策略 并 不 是 一 件 容 易 的 事情 ， 和 总 有 各 种 问题 会 阻碍 测试 活动 的 进 


程 。 


我 们 要 做 的 测试 活动 忌 是 很 多 ， 整个 测试 策略 感 完 很 条 重 。 


这 说 明 我 们 在 制定 测试 策略 的 时 候 ， 一定 漏 挥 了 一 些 重 要 的 东西 。 没 错 ， 我 们 漏 挥 
了 “风险 分 析 ”。 


1 ) 提前 识别 项 目 中 可 能 存在 哪些 会 阻塞 测试 的 风险 ， 然 后 基于 风险 来 调整 测试 策略 
实际 项 目 中 真 的 有 很 多 问题 ， 都 会 让 我 们 的 测试 变 得 举步维艰 。 
举例 : 实际 项 目 中 测试 活动 无 法 顺利 开展 的 一 些 例子 


例 1 : 在 需求 阶段 ， 需求 工程 师 未 能 提供 全 面 的 产品 需求 文档 ， 导 致 测试 设计 时 场景 
缺失 ， 无 法 达到 测试 设计 的 预期 效果 。 


例 2 : 在 测试 设计 时 ， 开 上 友 未 能 提供 相关 的 设计 文档 ， 或 是 文档 未 能 及 时 更 新 ， 导 致 
测试 设计 遗漏 或 不 准确 ， 无 法 达到 测试 设计 的 预期 效果 。 


例 3 : 在 测试 执行 时 ， 友 现 一 些 测试 用 例 因 为 缺陷 或 者 代码 提交 的 原因 阻 夫 了 ， 不 能 
按照 计划 进行 测试 执行 。 


例 4 : 在 测试 执行 时 ， 友 现 缺 陷 迟 迟 不 能 修改 ， 缺 陷 分 析 的 结果 不 能 达到 预期 。 


“ 骨 感 ”的 现实 告诉 我 们 ， 需 要 提前 识别 项 目 中 可 能 存在 哪些 会 阻塞 测试 的 风险 ， 
然后 基于 风险 来 调整 我 们 的 测试 策略 ， 增 加 一 些 测试 活动 或 者 质量 保证 活动 。 


例如 ， 对 例 1， 我 们 可 以 考虑 开展 需求 淤 清 会 、 加 强 对 需求 的 评审 、 明 确 需求 的 验收 
条 件 等 活动 来 应 对 风险 。 对 例 2， 我 们 可 以 考虑 加 强 对 文档 的 评审 和 跟踪 、 开 发 和 测 
试 进行 设计 澄清 、 让 开发 参与 测试 用 例 评 审 等 活动 来 应 对 风险 。 


接 下 来 ， 我 们 将 在 6.7 节 中 为 大 家 详细 介绍 风险 分 析 技 术 ， 在 第 7 章 中 为 大 家 详细 介 
绍 如 何 制 订 风 险 应 对 措施 。 


2 ) 基于 风险 来 加 强 和 降低 测试 投入 


一 般 来 况 ， 我 们 的 产品 中 会 仓 企 全 新 开 友 的 功能 和 老 功 能 。 对 一 个 新 开 上 友 的 版 本 来 
说 ， 老 功能 在 老 版 本 中 已 经 被 测试 过 ， 质 量 的 起 点 相 比 全 新 开发 的 功能 要 高 ， 失 效 
的 风险 更 低 。 即 使 全 新 开 友 的 功能 和 老 功 能 的 质量 目标 是 一 样 的 ， 我 们 也 没有 必要 
等 同 投入 资源 一 一 理想 的 状态 是 测试 能 够 基于 风险 来 进行 测试 : 


对 高 风险 的 部 分 加 强 测试 投入 。 
对 低 风 险 的 部 分 降低 测试 投入 。 


因此 我 们 完全 可 以 减少 那些 质量 情况 较 好 的 老 功能 测试 ， 而 将 测试 重点 放 到 老 功 能 
中 风险 大 的 地 方 。 后 续 我 们 还 将 在 6.7.2 节 中 为 大 家 介绍 老 功 能 分 析 技 术 。 


3 . 适 配 “产品 研发 流程 ” 


通过 前 面 的 讨论 ， 我 们 了 解 到 制定 测试 策略 需要 围绕 质量 目标 ， 充 分 考虑 风险 ， 根 
据 风 险 来 对 测试 活动 进行 调整 ， 但 是 有 两 个 问题 我 们 一 直 没有 提 及 ， 融 是 : 


` 何 时 开展 测试 策略 的 制定 活动 ? 

-制定 测试 策略 是 一 次 到 位 ， 还 是 要 分 几 次 完成 ? 
这 就 需要 我 们 将 测试 策略 的 制定 和 研发 流程 结合 起 来 。 
1 ) 测试 策略 的 结构 


如 果 我 们 希望 测试 策略 能 够 统领 并 指导 后 续 的 测试 活动 ， 制 定 测试 策略 的 时 间 就 应 
该 是 在 项 目 初期 。 据 我 所 知 ， 一 些 公司 会 要 求 在 需求 分 析 的 阶段 就 开始 投入 准备 测 
试 策略 的 制定 工作 。 


但 是 制定 测试 生 略 投入 得 越 早 ， 项 目的 各 种 不 确定 的 因素 也 残 越 多 。 软 件 测 试 以 构 
师 很 难 在 项 目的 需求 分 析 阶 段 ， 束 制定 出 一 份 非 弟 详尽 的 测试 策略 。 如 果 测 试 策略 
的 内 容 只 是 一 些 大 方向 、 大 原则 ， 那 么 到 执行 层面 很 容易 瓯 变形 ， 也 残 违背 了 我 们 
制定 测试 策略 的 初衷 。 


解决 这 个 问题 的 方法 是 ， 按 照 产品 研发 流程 ， 根 据 在 哪个 阶段 项 目 能 够 确定 到 哪 种 
程度 的 实际 情况 ， 来 为 测试 策略 设计 一 个 符合 这 种 进程 的 结构 。 


图 6-5 是 一 个 传统 研发 流程 示意 图 。 针 对 这 个 研发 流程 ， 我 们 设计 了 总 体 测试 策略 一 
阶段 测试 策略 一 测试 执行 策略 这 样 的 测试 策略 结构 。 


慨 念 阶 自 计划 阶段 开发 阶段 验证 阶段 发 布 阶段 
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图 6-5 传统 研发 流程 示意 图 


有 了 这 样 的 结构 ， 我 们 能 够 将 当前 的 测试 策略 轧 是 控制 在 “当下 ”， 即 项 目的 情 ; 
总 是 在 比较 确定 的 范围 内 ， 吉 免 我 们 过 于 纠结 “未 来 ”。 

这 样 操作 还 有 一 个 好 处 ， 残 是 我 们 能 够 真正 将 测试 策略 贯穿 于 测试 ， 甚 至 人 研发 项 目 
的 始终 ， 做 到 既 能 包含 大 方向 、 大 原则 ， 又 能 细 到 对 版 本 和 功能 测试 的 指导 与 控 
制 ， 实 现 测 试 策略 的 价值 。 


有 些 公司 的 测试 组 织 可 能 会 事先 就 帮 我 们 设计 好 了 测试 策略 的 结构 ， 我 们 只 需 在 每 
个 节点 输出 符合 要 求 的 测试 策略 即 可 。 在 这 种 情况 下 ， 这 个 步 又 自然 可 以 省 略 。 当 


然 ， 我 们 也 可 以 结合 项 目的 实际 情况 ， 来 对 组 织 建议 的 测试 策略 结构 进行 裁剪 。 
我 们 还 将 在 第 7 章 继 续 和 大 家 一 起 来 深入 讨论 和 测试 策略 的 结构 相关 的 问题 。 
2 ) 根据 研发 流程 来 安排 测试 活动 


测试 策略 中 具体 的 内 容 ， 也 需要 和 研发 流程 保持 一 致 ， 确 保 测试 和 开发 的 节奏 能 够 
彼此 吻合 。 


从 大 层面 来 说， 测试 在 各 个 阶段 的 活动 和 开发 的 活动 是 能 够 配合 起 来 的 。 例 如 ， 在 
开发 人 员 进 行 产 品 设计 的 时 候 ， 测试 人 员 的 主要 活动 应 该 是 测试 分 析 ， 而 不 应 该 是 
测试 执行 。 开 发 人 员 在 进行 功能 集成 的 时 候 ， 测试 人 员 的 主要 活动 应 该 是 测试 执 
行 ， 而 不 应 该 是 测试 设计 ， 如 图 6-6 所 示 : 
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图 6-6 测试 人 员 职 责 


要 达到 这 个 大 层面 的 吻合 ， 是 比较 容易 的 。 相 对 比较 困难 的 是 ， 是 在 版 本 测试 阶 
段 ， 开 友 活 动 和 测试 活动 彼此 配合 的 问题 。 人 入 单 地 说 ， 束 是 开 友 人 员 在 做 计划 的 时 
候 是 否 考虑 了 测试 活动 : 


是否 只 是 提交 了 一 个 “中 间 层 ”而 非 最 后 用 户 可 见 的 功能 ? 提交 的 功能 是 否 可 测 ? 


测试 能 否 有 足够 的 时 间 进 行 测试 准备 ? 


:测试 能 否 在 下 个 版 本 提交 之 前 完成 测试 ? 


这 就 需要 软件 测试 架构 师 能 够 做 好 版 本 测试 策略 ， 能够 和 开发 人 员 进 行 有 效 沟通 ， 
使 得 双方 能 够 理解 彼此 的 节奏 ， 达 到 更 好 的 配合 。 


除 此 之 外 ， 我 们 即将 要 介绍 的 测试 分 层 ， 也 能 帮助 我 们 更 好 地 制定 版 本 测试 策略 。 


4. 进 行 “测试 分 层 " 


到 目前 为 止 ， 我 们 已 经 能 够 综合 考虑 研发 流程 、 风 险 ， 并 基于 产品 质量 目标 来 制定 
测试 策略 。 通 过 上 面 的 分 析 ， 我 们 可 以 得 到 很 多 测试 活动 ， 会 友 现 有 那么 多 要 做 的 
事情 ， 现 在 的 问题 是 我 们 该 以 什么 策略 去 安排 这 些 测试 活动 ? 


这 个 问题 的 最 佳 答案 融 是 进行 “测试 分 层 ”。 


测试 分 层 是 指 将 有 共同 测试 目的 的 测试 活动 放 在 一 起 形成 一 个 组 ， 然 后 一 组 一 组 地 
逐一 进行 测试 。 

分 好 层 后 ， 我 们 只 要 确定 先 测 哪 层 ， 再 测 哪 层 ， 残 能 把 各 种 测试 活动 安排 下 去 了 。 
对 软件 测试 以 构 师 来 说 ， 这 比 一 个 个 去 考虑 先 做 什么 测试 活动 ， 再 做 什么 ， 效 率 要 
高 很 多 ， 也 能 够 让 测试 的 整体 思路 变 得 更 为 清晰 。 

对 测试 团队 来 说 ， 分 层 测试 后 ， 每 层 的 测试 内 容 、 测 试 重点 和 测试 方法 都 会 有 所 不 
同 ， 可 以 减少 测试 团队 总 是 感到 在 重复 执行 相同 内 容 的 困惑 ， 增 加 新 鲜 感 。 

但 是 ， 这 尝 都 不 是 测试 分 层 最 大 的 价值 。 测 试 分 层 最 大 的 价值 在 于 : 通过 测试 分 
层 ， 我 们 能 够 将 一 个 大 的 测试 目标 ， 分 到 不 同 层次 中 分 阶段 去 完成 ; 合理 的 测试 分 


层 ， 能 够 让 测试 目标 SMART 化 。 能 够 让 我 们 将 目标 ( 产品 质量 目标 ) 一 行为 ( 测试 
活动 ) 一 评估 ( 质量 评估 ) 的 闭环 ， 真 正在 产品 测试 中 落地 .。 


我 们 还 将 在 6. 8 节 中 为 大 家 继续 讨论 分 层 测试 技术 ， 在 第 7 章 中 为 大 家 介绍 分 层 测试 
策略 。 


5.“ 四 步 测 试 策略 制定 法 ”中 的 测试 技术 


:通过 前 面 的 介绍 ， 我 们 了 解 到 在 使 用 四 步 测 试 策 略 制定 法 来 制定 测试 策略 时 ， 会 使 
用 到 一 些 方式 或 者 模型 。 忆 的 来 说 ， 如 图 6-7 所 示 。 


“产品 质量 评估 模型 


。 缺 陷 分 析 技 术 


Step1: 明确 “产品 质量 目标 ” 


。 风 险 分 析 技 术 


step2: 进行 “风险 分 析 ” min 
。 老 功能 分 析 技 术 


Step3: 适 丁 


Step4: 进行 “测试 分 层 ” 。 分 层 测试 技术 





图 6-7 四 步 测试 策略 制定 法 中 用 到 的 方式 或 模型 


本 章 接 下 来 的 部 分 ， 将 先 为 大 家 详细 介绍 这 些 模 型 和 技术 ， 为 我 们 后 面 进行 测试 策 


略 实战 做 好 准备 。 
产品 质量 评估 模型 


产品 质量 评估 模型 将 用 在 测试 目标 的 确定 和 评估 上 ， 它 是 整个 测试 策略 的 基础 。 在 
介绍 这 个 重要 模型 之 前 ， 我 们 想 先 花 一 点 笔墨 来 讨论 一 下 一 个 优秀 的 产品 质量 评估 
英 型 应 该 具备 哪些 特征 。 


蒂 


6.3.1 优秀 的 产品 质量 评估 模型 的 特征 

单纯 从 质量 评估 的 角度 来 说 ， 下 面 的 场景 也 许 大 家 并 不 会 陌生 : 

产品 质量 评估 中 的 几 个 场景 

场景 1 : 项 目 计 划 的 时 间 到 了 ， 就 友 布 产品 。 

场景 2 : 将 缺陷 修复 率 作为 产品 的 质量 目标 。 产 品 必 须 达 到 一 定 的 缺陷 修复 率 ， 才 能 
发 布 。 

场景 3 : 我 们 为 产品 建立 了 很 多 据 标 来 作为 质量 目标 ， 如 缺陷 修复 率 、 测 试 代码 履 镭 
率 等 。 产 品 必须 达到 制订 的 质量 目标 ， 才 能 友 布 。 


场景 1 说 明 测 试 团队 当前 还 没有 产品 质量 评估 的 具体 办 法 ， 于 是 只 有 将 “时 间 ” 作 为 
底线 。 改 善 方 法 之 一 束 是 引入 质量 评估 的 方法 。 


场景 2 和 场景 1 相 比 ， 已 经 有 了 判断 标准 ， 可 以 说 是 有 质 的 改变 ,但 场景 2 也 有 “ 软 
肪 ”， 区 是 评价 的 标准 太 过 于 单一 。 而 对 一 个 产品 来 说 ， 要 想 对 它 的 质量 进行 客观 
准确 的 评价 ， 并 不 像 我 们 在 超市 中 买 水 果 ， 要 判断 这 个 水 果 好 不 好 ， 咬 一 口 尝 一 滨 
这 么 简单 ， 产 品质 量 本 身 涉 及 的 属性 束 有 入 大 类 ， 和 开 妈 过 程 及 测试 过 程 也 息 乱 相 


天 ， 单 纯 通 过 一 个 指标 很 难 判断 准确 。 


场景 3 看 起 来 很 好 ， 但 是 在 实际 操作 的 时 候 ， 我 们 往往 会 友 现 ， 我 们 费时 费力 地 对 这 
些 指标 进行 了 统计 、 分 析 和 跟 路 ， 最 后 也 都 达到 了 ， 但 是 我 们 对 产品 质量 的 好 坏 依 


然 感 到 心里 没 诡 一 一 这 实在 太 让 人 泪 形 了 。 
我 分 析出 现场 景 3 中 的 问题 ， 主 要 原因 有 3 点 : 


第 一 ， 这 些 指标 覆盖 的 维度 可 能 不 全 ,我们 可 能 遗漏 挥 了 一 些 重要 的 考察 项 。 
第 二 ，“ 指 标 ” 本 身 比较 容易 被 “聪明 人 ” 绕 过 去 ， 变 得 形同虚设 。 

第 三 ,整个 质量 评价 体系 中 全 是 指标 ， 缺 少 定性 的 分 析 。 

例如 ， 我 们 以 测试 的 代码 覆盖 度 要 达到 98% 作 为 一 项 质量 目标 。 为 了 达到 这 个 目标 ， 
我 们 可 能 会 选择 一 些 容易 进行 测试 “ 获 蘑 ”， 但 实际 上 风险 并 不 大 的 地 方 进行 测 
试 。 虽 然 最 终 能 达到 98% 的 测试 覆 善 目标 ， 但 是 没有 被 测试 到 的 16% 那 部 分 情况 如 
何 , 是否 真 的 不 需要 测试 ， 可 能 会 有 哪些 风险 ， 对 我 们 来 说 都 是 “未 知 ” 的 。 未 知 
正 是 心里 没 底 的 源头 。 


如 果 我 们 将 这 个 间 题 从 评估 3 引申 到 目标 的 层面 ， 如 果 我 们 在 制订 目标 的 时 候 ， 考虑 
的 不 仅 仪 是 指标 ， 而 能 包含 一 些 如 “对 重要 特性 ， 要 达到 166% 的 测试 覆盖 ” “测试 
方法 要 包含 语句 禾 盖 、 判 断 履 兰 、 路 径 履 靖 ” 等 的 摘 述 ， 以 此 作为 要 达到 的 质量 目 
标 ， 不 仅 能 解决 上 述 的 问题 ， 还 能 更 好 地 帮助 我 们 确定 要 进行 的 测试 活动 。 


综 上 ， 一 个 优秀 的 产品 质量 评估 模型 ， 应 该 具备 如 下 特质 : 


-多 维度 : 能 够 覆 匡 质量 评估 的 各 个 纬度 ， 能 够 帮助 评估 者 全 面 分 析 和 考虑 。 


:定量 + 定性 : 指标 和 分 析 相 结合 ， 能够 有 效 避 免 在 只 有 指标 的 情况 下 ，, 被 “ 绕 ” 过 
去 ， 变 得 形同虚设 。 
:过程 + 结 果 : 不 仅 评估 测试 的 结果 ， 还 对 过 程 进行 分 析 和 评估 。 


6.3.2 软件 产品 质量 评估 模型 


[二] 


我 们 将 从 3 个 方面 来 建立 软件 产品 质量 评估 模型 ， 对 产品 质量 进行 分 析 、 确 定 和 评估 
(图 6-8 ) : 


测试 覆 凑 度 评 佑 
路 径 覆 兰 度 分 析 


测试 用 例 分 析 


测试 过 程 评估 测试 方法 分 析 


测试 投入 分 析 
缺陷 密度 分 析 
缺陷 修复 情况 分 析 


缺陷 年 龄 分 析 





揣 陷 触发 因 系 分 析 





图 6-8 产品 质量 评估 模型 
测试 覆盖 度 评 估 : 对 测试 范围 及 测试 的 深度 与 广度 进行 分 析 和 评估 。 
测试 过 程 评估 : 对 测试 过 程 和 测试 的 投入 情况 来 进行 分 析 与 评估 。 


缺陷 分 析 : 对 测试 结果 进行 分 析 和 评估 。 


1 .测试 覆 匡 度 评估 


测试 覆盖 度 评 估 包 括 需 求 履 蓝 度 评估 和 路 径 覆 薪 度 分 析 两 个 方面 ,从 “ 需 
求 ” 和 “实现 ”两 个 纬度 来 对 测试 的 全 面 性 进行 分 析 和 评估 ， 属 于 定量 指标 。 


2 .测试 过 程 评估 


测试 过 程 评估 包括 测试 用 例 分 析 、 测 试 方法 分 析 和 测试 投入 分 析 3 个 万 面 ， 既 包含 定 


量 指标 ， 又 包含 定性 分 析 。 
3 .缺陷 分 析 


缺陷 分 析 包 括 缺 陷 密 硫 分 析 、 缺 陷 修复 情况 分 析 、 缺 陷 趋 势 分 析 、 缺 陷 年 龄 分 析 和 
缺陷 触 上 因素 分 析 5 个 方面 ， 从 这 5 个 方面 来 对 测试 结果 进行 分 析 和 评估 ， 也 是 既 包 


含 定量 指标 ， 又 包含 定性 分 析 。 
接 下 来 我 们 将 逐一 为 大 家 进行 详细 介绍 。 


6.4 测试 覆盖 度 评估 


口 
进行 评估 的 基础 。 在 评估 时 ， 又 可 以 从 需求 覆盖 度 和 路 径 履 盖 度 两 个 方面 进行 分 析 
评估 ， 其 定义 和 属性 ， 见 表 6-3。 


表 6-3 测试 覆 善 度 评估 的 定义 与 属性 


产品 质量 评估 维度 


测 试 覆 补充 rk i 度 评 全 





产品 质量 评估 | 。。。。。。。。 鹤 | 属性 


震 求 覆盖 度 已 经 测试 验证 的 产品 需求 数 和 产品 需求 规格 总 数 的 比值 定量 指标 


Ee 已 经 测试 到 的 语句 的 数量 和 程序 中 可 执行 语句 的 总 数量 的 | ， oe, 
路 径 祯 盖 度 | ER “| 定性 分 析 


6.4.1 需求 覆盖 度 评估 
需求 覆盖 度 是 “已 经 测试 验证 的 产品 需求 数 ” 和 “产品 需求 规格 总 数 ” 的 比值 。 


需求 覆 兰 度 的 目标 必须 为 186%， 即 测试 保证 对 产品 承诺 要 实现 的 需求 都 进行 了 验 
证 ， 并 要 对 产品 是 否 满足 需求 给 出 评估 。 如 果 测 试 无 法 做 到 对 “需求 进行 186% 的 测 
试验 证 ”， 那 么 没有 测试 的 这 部 分 “需求 ”是 什么 情况 ”是 实现 了 ， 还 是 没有 实 
现 ? 实现 得 是 否 正 确 ? 这 些 重要 的 问题 都 变 得 未 知 ， 无 法 对 产品 的 质量 做 出 正确 的 
判断 。 


“需求 覆盖 度 ” 中 的 “需求 ”， 可 以 是 “ 包 需 求 ”， 也 可 以 是 “需求 规 
格 ”“story”“user case” 等 可 以 代表 项 目 中 产品 需求 的 内 容 ， 大 家 可 以 根据 项 
目的 实际 情况 来 选择 ， 本 书 在 叙述 这 部 分 时 不 区 分 这 些 概念 ， 统 一 写 为 “需求 ”。 


需求 履 苹 度 评估 有 以 下 两 种 方法 。 
方法 1 : 直接 在 需求 表 中 确认 测试 情 ， 


方法 1 是 各 个 测试 责任 人 直接 在 产品 的 需求 表 中 对 需求 的 测试 情况 进行 确认 ， 见 表 6- 
4。 


表 6-4 确认 测试 情 ) 


3 EEEEEEEEE 
PASS ( ) 

需求 1 FAILED ( ) 张 小 明 
BLOCK ( ) 


PASS ( ) 
需求 2 FAILED ( ) 王 大 成 





方法 1 一 般 会 在 测试 结束 后 进行 ， 如 果 在 确认 时 发 现存 在 测试 遗漏 ， 虽 然 一 般 来 说 还 
是 有 时 间 补 救 ， 但 是 很 可 能 会 打 乱 整个 测试 节奏 ， 影 响 整个 项 目的 进度 ， 所 以 方法 1 
最 好 不 要 在 测试 快 结束 的 时 候 才 进行 ， 可 以 根据 开发 的 合 入 计划 ， 一边 测试 ， 一 
确认 ， 如 图 6-9 所 示 。 


方法 2 : 建立 测试 用 例 和 需求 的 对 应 天 系 


合 人 需求 1、 合 和 人 需求 4、 合 人 需求 7 
需求 2、 需 求 3| | 需求 5、 需 求 6 | | 害 求 8 、 需 求 9 

















确认 需求 1 


需求 2、 需求 3 


确认 需求 7、 


需求 8、 需求 9 


需求 5 需求 6 





图 6-9 边 测 试 边 确认 


方法 2 是 在 测试 设计 的 时 候 ， 通 过 编号 来 建立 需求 和 测试 用 例 的 对 应 关系 。 这 样 我 们 
只 要 保证 这 些 测试 用 例 都 被 执行 了 ， 需求 也 束 都 被 测试 验证 了 ， 见 表 6-5。 


表 6-5 需求 和 测试 用 例 的 对 应 天 系 


需求 编号 测试 设计 责任 人 
方法 2 的 优势 是 ， 测 试 能 够 从 一 开始 就 保证 需求 的 覆盖 ， 从 源头 上 人 如 免 了 需求 遗漏 的 
风险 ; 还 很 容易 通过 不 同 的 测试 设计 方法 ， 让 不 同 优先 级 的 需求 能 够 有 不 同 的 测试 
深度 ， 更 利于 软件 测试 以 构 师 对 整个 项 目 进行 把 控 。 





但 是 方法 2 也 有 一 些 需 要 注意 的 地 方 : 


-需要 注意 需求 变化 的 部 分 : 特别 是 在 项 目 后 期 “增加 ” “修改” 和 “删除 ”的 需 


方法 2 和 测试 设计 的 关系 变 得 比较 上 紧密， 测试 设 计 和 遗漏 可 能 会 影响 对 需求 履 善 度 的 评 
佑 。 


另外 在 实际 项 目 中 ， 需 求 和 测试 用 例 的 对 应 天 系 ， 可 能 也 并 不 像 前 面 表格 的 例子 中 
那样 标准 的 一 对 一 的 关系 ， 而 是 一 对 多 、 多 对 一 或 多 对 多 这 种 比较 混乱 的 情况 ， 要 
想 手工 维护 好 这 些 天 系 并 不 是 一 件 容易 的 事情 ， 特 别 是 当 遇 到 需求 友 生 变化 了 ， 或 
是 通过 缺陷 来 增加 测试 用 例 等 情况 的 时 候 ， 要 修改 的 地 方 融 更 多 了 了。 所以， 方法 2 最 
好 能 够 有 工具 支持 ， 能 够 通过 工具 来 维护 这 些 对 应 关系 。 


6.4.2 路 径 窗 羡 度 评估 


路 径 覆 茉 度 是 “已 经 测试 到 的 语句 的 数量 ”和 “程序 中 可 执行 语句 的 忌 数 量 ” 的 比 
值 。 


对 产品 测试 的 路 径 履 兰 情 况 进 行 分 析 ， 需 要 用 到 路 径 分 析 法 ( 详 见 4.4.4 节 路 径 分 析 
法 ) ， 为 了 便于 后 文 叙 述 ， 我 们 再 对 这 些 方法 进行 总 结 ， 见 表 6- 6。 


表 6-6 路 径 分 析 法 总 结 


路 径 分 析 法 定义 
语句 覆 善 覆盖 系统 中 所 有 判定 和 过 程 的 最 小 路 径 集合 
分 支 履 盖 禾 盖 系统 中 每 个 判定 的 所 有 分 支 所 需 的 最 小 路 径 数 
全 覆盖 100% 地 覆盖 系统 所 有 可 能 的 路 径 的 集合 
最 小 线性 无 关 覆 善 保证 流程 图 中 每 个 路 径 片 段 能 够 被 至 少 执行 一 次 的 最 少 的 路 径 组 合 


这 4 种 路 径 分 析 方 法 ， 对 产品 设计 的 测试 履 兰 度 是 不 同 的 。 软 件 测试 以 构 师 可 以 使 用 
如 下 步骤 来 对 产品 的 路 径 履 凑 度 进行 评估 。 


软件 测试 架构 师 可 以 以 特性 或 者 功能 为 粒度 ， 根 据 该 功能 的 质量 目标 来 确定 路 径 履 
茉 策略。 在 如 何 选 择 确定 路 径 覆 盖 策 略 上 ， 我 建议 如 下 : 





` 可 以 将 最 小 线性 无 天 覆 匡 作为 一 个 基本 的 路 径 窗 苹 方 式 ,。 

对 优先 级 局 的 功能 特性 ， 可 以 在 最 小 线性 无 天 履 兰 的 基础 上 增加 一 些 路 径 。 
对 优先 级 低 的 功能 特性 ， 可 以 在 最 小 线性 无 天 履 盖 的 基础 上 减少 一 些 路 径 。 
:不 建议 全 面 进行 全 履 盖 ， 也 不 建议 使 用 语句 履 盖 。 

我 们 可 以 使 用 类 似 的 表格 对 功能 或 特性 的 路 径 覆 羡 策 略 进 行 记录 ， 见 表 6-7。 


表 6-7 路 径 履 其 策略 的 记录 


功能 路 径 覆 盖 策 略 
A 最 小 线性 无 关 禾 谭 
B 最 小 线性 无 关 窗 谭 
吉 分 文 覆 盖 
D 语句 履 新 


第 二 步 : 使 用 路 径 分 析 法 设计 测试 用 例 。 

接 下 来 软件 测试 架构 师 就 可 以 组 织 测 试 团队 按照 路 径 窗 盖 策 略 来 设计 测试 用 例 ， 具 
体 的 用 例 设计 方法 可 以 参考 4.4.4 节 流程 类 测试 设计 : 路 径 分 析 法 。 

第 三 步 : 跟踪 测试 用 例 的 执行 情况 。 

当 测 试 团 队 按照 路 径 覆 盖 策 略 完成 了 用 例 设计 后 ， 对 路 径 履 盖 度 的 评估 ， 就 转换 为 
了 测试 用 例 执 行情 况 的 评估 。 我 们 的 目标 是 这 些 设计 的 用 例 能 够 至 少 被 执行 一 遍 ， 
并 且 测 试 结果 为 “通过 ”。 如 果 存 在 测试 用 例 在 产品 发 布 的 时 候 都 被 “阻塞 ”，, 无 
法 执行 的 情况 ， 我 们 就 需要 对 阻塞 的 情况 进行 分 析 ， 评 估 当 前 的 覆盖 度 是 否 能 够 满 
足 测试 的 基本 要 求 。 

6.5 测试 过 程 评估 

测试 过 程 评估 分 析 的 对 象 是 测试 用 例 、 测 试 方法 和 测试 投入 。 

为 什么 进行 产品 质量 评估 还 需要 对 测试 过 程 进 行 分 析 呢 ? 试想 对 一 个 产品 测试 来 
襄 : 


有 充分 完备 的 测试 用 例 和 没有 测试 用 例 进行 随机 测试 相 比 ， 哪 一 种 测试 的 结果 更 可 
靠 ? 

使 用 了 多 种 测试 方法 与 测试 方法 单一 相 比 ， 哪 一 种 测试 结果 更 有 助 于 进行 产品 质量 
评估 ? 

有 经 验 的 测试 人 员 、 充 足 的 测试 投入 与 没有 经 验 的 测试 人 员 、 测 试 投入 不 足 相 比 ， 
哪 种 测试 情况 更 有 利于 测试 目标 的 实现 呢 ? 


可 见 ， 对 测试 过 程 进行 评估 ， 对 产品 质量 评估 而 言 十 分 重要 。 不 仅 如 此 ， 如 果 我 们 
能 够 在 测试 之 前 残 对 测试 过 程 进行 计划 ， 还 能 帮助 我 们 更 好 地 进行 测试 ， 更 好 地 完 
成 产品 的 测试 目标 。 


6.5.1 测试 用 例 评估 

我 们 可 以 通过 如 下 3 个 指标 来 对 “测试 用 例 ” 进 行 评估 : 
测试 用 例 执行 率 。 

测试 用 例 执行 通过 率 。 

测试 用 例 和 非 测 试用 例 友 现 缺陷 比 。 

1. 测 试用 例 执 行 率 


测试 用 例 执 行 率 是 揭 “ 已 经 执行 的 测试 用 例 数目 ”和 “测试 用 例 总 数 ” 的 比值 。 其 
中 “已 经 执行 的 测试 用 例 数目 ”包含 了 测试 结果 为 “通过 ”和 “失败 ”的 测试 用 

例 。 例 如 我 们 一 共 需 要 执行 1986 个 用 例 ， 已 经 执行 了 686 个 用 例 ， 其 中 有 5686 个 测试 
用 例 执行 结果 为 “通过 ”“，168 个 测试 用 例 的 执行 结果 为 “失败 ”， 测 试用 例 执 行 率 


是 66%。 


测试 用 例 执行 率 可 以 帮助 我 们 分 析 测试 的 全 面 性 ， 因 此 我 们 希望 这 个 指标 在 测试 过 
程 中 能 够 达到 168% ,实际 中 可 能 有 如 下 一 些 情况 会 影响 测试 用 例 的 执行 率 : 


:测试 阻塞 : 指 测 试用 例 因 为 产品 开发 ( 一 般 是 指 缺陷 ) 、 测 试 ( 如 测试 环境 不 具 
备 ) 等 原因 ， 无 法 被 执行 的 测试 用 例 。 


-未 执行 : 指 可 以 执行 ， 但 是 因为 进度 、 人 力 或 其 他 原因 等 还 没有 被 执行 的 测试 用 
例 。 


对 “阻塞 ”这 种 情况 ， 软 件 测试 架构 师 需 要 提前 识别 这 些 问 题 ， 进 行 风险 识别 和 控 


制 ， 如 果 这 些 间 题 已 经 是 “缺陷 ”了 ， 丈 需要 要 求 开 友 人 员 优 先 解决 这 些 间 题 。 


此 外 ， 软 件 测试 染 构 师 还 需要 对 测试 用 例 划 分 优先 级 。 这 样 在 项 目 进行 或 者 人 力 紧 
张 的 情况 下 ， 束 可 以 优先 保证 高 优先 级 的 测试 用 例 执行 率 ， 不 执行 某 些 低 优先 级 的 
测试 用 例 。 


有 了 时， 一 个 测试 用 例会 被 反复 执行 多 志 ， 在 统计 测试 用 例 执行 率 时 ， 反复 执行 的 测 
试用 例 只 用 被 记录 一 次 。 例 如 我 们 需要 执行 的 测试 用 例 有 268e 个 ， 已 经 执行 的 测试 
用 例 有 268e 个 ， 其 中 有 18e 个 测试 用 例 执行 了 2 志 ， 此 时 的 测试 用 例 执行 依然 为 
266/2666=16% ,而 非 ( 166x2+166 ) /2666=15%。 


2 .测试 用 例 执行 通过 率 


测试 用 例 执 行 通过 率 是 指 “ 测 试用 例 执行 结果 为 “通过 ”的 测试 用 例 数 ” 和 “已 经 
执行 的 测试 用 例 数目 ”的 比值 。 由 于 一 个 测试 用 例 可 能 会 被 反复 执行 多 次 ， 按 照 测 
试用 例 是 在 第 一 次 执行 时 融通 过 的 ， 还 是 在 后 续 测试 时 通过 的 ， 我 们 将 测试 用 例 执 


行 通过 率 细 分 为 如 下 两 项 : 


:测试 用 例 首次 执行 通过 率 : 指 “ 第 一 次 执行 该 测试 用 例 的 结果 为 通过 ”的 测试 用 
例 数 ”和 “已 经 执行 的 测试 用 例 数目 ”的 比值 。 


:测试 用 例 昧 积 执 行 通过 率 : 指 “ 测 试用 例 结果 为 “通过 ”的 测试 用 例 数 ” 和 “已 经 
执行 的 测试 用 例 数 目 ” 的 比值 。 


测试 用 例 首次 执行 通过 率 可 以 帮助 我 们 评估 开 友 版 本 的 质量 一 一 测试 用 例 首次 执行 
通过 率 越 高 ， 说 明 开发 的 版 本 质量 不 错 ; 相反 ， 如 果 开发 需要 多 次 修复 ， 最 后 才能 
使 得 测试 用 例 执行 通过 ， 说明 版 本 质量 可 能 不 高 ， 产 品 在 设计 、 编 码 方面 可 能 存在 
一 些 问题 ， 即 便 是 修复 bug， 在 修复 时 引入 新 bug 的 风险 也 会 更 大 一 些 。 


测试 用 例 昧 积 执行 通过 
用 例 昧 积 执行 通过 率 


斗 率 可 以 帮助 我 们 评估 产品 在 友 布 时 的 质量 。 一 般 况 来 ， 测 试 
越 高 ， 说 明 当前 的 版 本 质量 可 能 已 经 达到 了 基本 要 求 ， 可 以 考 


3 .测试 用 例 和 非 测 试用 例 友 现 缺陷 比 


测试 人 员 在 按照 测试 用 例 执行 测试 的 时 候 ， 也 会 抛 开 测试 用 例 ， 目 我 上 友 挥 ， 做 些 随 
机 测试 。 显 然 ， 随 机 测试 也 能 友 现 缺陷 ， 有 时 候 甚 全 比 测 试用 例 更 能 上 太 现 产品 缺 
陷 ， 而且“ 突然 一 个 灵感 来 了 ， 然 后 去 测试 ， 并 且 真 的 友 现 了 产品 缺陷 ”的 过 程 ， 
会 让 人 很 有 成 就 感 。 因 此 在 团队 中 ， 我 们 往往 会 鼓励 大 家 在 执行 测试 用 例 的 时 候 适 
当 进 行 一 些 友 散 测试 ， 挖 掘 bug， 找 找 感 党 。 


我 们 希 履 “通过 测试 用 例 有 现 的 缺陷 ”和 “ 友 散 测试 ， 也 融 是 非 测试 用 例 友 现 的 缺 
陷 ” 的 比值 能 够 在 一 个 合理 的 学 围 内 。 


如 果 比 值 过 低 ， 即 大 部 分 缺陷 都 是 通过 友 散 测试 友 现 的 ， 可 能 的 问题 是 : 

.随机 测试 投入 过 多 。 

:测试 设计 水 平 不 高 ， 存 在 测试 设计 遗漏 。 

.对 产品 的 需求 或 者 设计 的 理解 不 正确 、 不 准确 或 者 不 深入 ， 人 存在 测试 设计 错误 。 
如 果 比 值 过 高 ， 大 多 数 缺陷 都 是 通过 测试 用 例 发 现 的 ， 可 能 的 问题 是 : 


测试 人 员 不 愿意 进行 发 散 测试 ( 这 样 的 测试 团队 可 能 也 是 一 个 比较 沉 癌 、 缺 乏 激 
情 、 只 是 完成 任务 的 测试 团队 ) 。 


:测试 投入 不 足 ， 没 有 时 间 进 行 友 散 测试 。 
:测试 思路 还 没有 打开 。 如 果 存 在 这 种 情况 ， 说 明 测试 设计 可 能 也 不 够 全 面 。 


软件 测试 染 构 师 可 以 在 测试 之 前 先 确定 好 一 个 目标 沁 围 ， 并 围绕 目标 来 安排 测试 活 
动 。 在 项 目 过 程 中 ， 如 果 出 现 偏 差 ， 需要 对 缺陷 进行 分 析 ， 更 新 测试 策略 。 


6.5.2 测试 方法 分 析 

在 第 4 章 我 们 曾经 详细 讨论 了 测试 方法 ( 详 见 4.3 节 ) ， 此 处 我 们 不 再 获 述 ， 而 聚焦 
到 软件 测试 以 构 师 如 何 对 测试 方法 进行 分 析 。 

对 软件 测试 架构 师 来 说 ， 在 测试 之 前 ， 我 们 束 需 要 根据 产品 的 计量 要 求 ， 根 据 测试 
目标 、 测 试 的 深度 和 广度 来 确定 测试 方法 ; 在 测试 设计 和 测试 执行 中 跟 进 ， 保 证 各 
个 特性 使 用 的 测试 方法 和 测试 策略 相符 ， 并 通过 缺陷 来 确认 测试 策略 是 否 合 适 ， 是 
否 需 要 调整 测试 策略 。 


图 6-16 更 为 详细 地 总 结 了 这 个 过 程 。 


对 功能 A: | 按照 测试 策略 来 确定 功能 A 
要 使 用 的 测试 方法 





分 析 测 试 设 计 是 否 和 测试 
策略 中 的 测试 方法 符合 
翌 整 测 试 
策略 
分 析 测 试 执行 时 的 测试 


方法 是 否 符 合 测试 策略 


通过 缺陷 分 析 来 确定 
测试 策略 是 否 需要 调整 


图 6-16 详细 辟 结 图 
其 中 “分 析 测 试 设计 是 否 和 测试 策略 中 的 测试 方法 符合 ”， 可 以 通过 测试 设计 的 过 
程 跟踪 、 测 试 评审 等 方式 去 跟踪 和 分 析 。 

"分析 测试 执行 时 的 测试 方法 是 否 符合 测试 策略 ”， 可 以 通过 测试 执行 时 的 日 报 、 
周报 ， 测 试用 例 执行 情况 等 方式 去 跟踪 和 分 析 。 


“通过 缺陷 分 析 来 确定 测试 策略 是 否 需 要 调整 ”， 主 要 是 对 缺陷 进行 缺陷 触 友 因 素 
分 析 ， 相 关 的 内 容 将 在 6.6 节 中 为 大 家 详细 描述 。 


6.5.3 测试 投入 分 析 


测试 投入 分 析 也 是 很 重要 的 一 项 测试 过 程 评 估 项 目 ， 在 这 里 我 们 主要 从 测试 人 员 安 
排 和 测试 投入 工作 量 来 进行 分 析 ， 确 认 重 要 的 、 高 风险 的 特性 能 够 保证 测试 投入 ， 
符合 测试 策略 。 


在 实际 分 析 时 ， 可 以 使 用 类 似 表 6-8 的 形式 ， 来 对 测试 的 投入 情况 进行 分 析 。 


表 6-8 测试 投入 分 析 
特性 名 测试 责任 人 投入 阶段 


] 


引 





如 果 友 现 测 试 投入 和 测试 策略 不 符 ， 则 需要 考虑 调整 测试 投入 ， 或 者 调整 测试 策 
略 。 进 行 风 险 识 别 和 风险 控制 ， 及 时 调整 测试 策略 。 


6.6 缺陷 分 析 


缺陷 是 指 在 产品 测试 中 友 现 产品 不 符合 需求 和 设计 的 地 方 。 但 是 如 果 我 们 仪 仪 把 缺 
陷 当 成 产品 问题 的 记录 ， 而 不 去 挖掘 缺陷 数据 背后 隐 合 的 和 产品 质量 有 关 的 信息 ， 
束 显 得 太 可 惜 了 。 


本 节 将 为 大 家 介绍 缺陷 分 析 技 术 和 这 些 缺陷 分 析 技 术 在 闫 品质 量 评估 方面 的 作用 ， 


并 讨论 如 何 将 这 些 分 析 技 术 组 合 起 来 ， 能 够 对 产品 质量 进行 较为 全 面 评 估 。 
6.6.1 缺陷 密度 


缺陷 密度 是 指 每 干 行 代 码 上 及 现 的 缺陷 数 。 我 们 在 确定 了 缺陷 密度 后 ， 还 可 以 顺 市 得 
到 缺陷 总 数 。 对 一 个 产品 研 上 友 项 目 而 言 ， 确 定 、 分 析 缺 陷 密度 的 重要 意义 在 于 : 


.通过 缺陷 密度 ， 我 们 可 以 预测 产品 中 可 能 会 有 多 少 缺 陷 。 

.通过 缺陷 密度 ， 可 以 帮助 我 们 评估 当前 已 经 友 现 的 缺陷 总 数 是 否 足够 多 。 如 果 “ 缺 
陷 密度 ”和 预期 偏差 较 大 ， 原 则 上 不 应 该 退出 测试 ， 发 布 产 品 。 

我 们 能 够 在 产品 测试 之 前 ， 较 为 准确 地 预测 产品 的 缺陷 密度 并 将 此 作为 一 个 测试 目 
标 ， 主 要 基于 如 下 假设 : 


在 系统 复杂 度 、 研 上 友 能 力 一 定 的 情况 下 ， 由 各 个 环节 引入 系统 中 的 缺陷 总 数 也 会 
基本 一 致 的 。 


例如 产品 A， 截止 到 产品 友 布 时 一 共 友 现 了 1686 个 缺陷 。 一 个 和 产品 A 复杂 度 类 似 的 
产品 B， 由 和 产品 A 能 力 相似 的 研 友 团队 开 友 ， 测 试 类 似 的 周期 ， 也 应 该 友 现 1666 个 
左右 的 缺陷 。 


如 果 产 品 B 和 产品 A 在 复杂 度 、 研 发 能 力 上 有 较为 明显 的 差别 ， 我 们 也 可 以 通过 乘 以 
一 些 系数 来 对 产品 B 的 缺陷 密度 进行 折算 


当然 ， 如 果 产 品 团队 能 够 有 专人 度量 这 些 数据 ， 建 立 基线 ， 让 缺陷 密度 的 估计 变 得 
更 为 准确 ， 则 更 有 实际 意义 。 


不 过 在 实际 项 目 中 ， 真 实 的 缺陷 密度 不 会 和 估计 的 缺陷 密度 恰好 相等 ， 往 往 会 有 一 


定 的 偏差 。 对 此 ， 我 的 建议 是 ， 我 们 在 确定 缺陷 密度 的 同时 ， 也 可 以 确定 一 个 允许 

的 偏差 学 围 ( 比如 3% ) 。 只 要 实际 的 缺陷 密度 在 这 个 允许 的 偏差 范围 内 ， 我 们 都 认 

为 是 正常 的 ( 如 图 6-11 所 示 的 “实际 的 缺陷 密度 3” ) ; 一 旦 缺陷 密度 落 到 了 偏差 范 
围 外 ， 就 需要 我 们 进行 分 析 了 ( 如 图 6-11 所 示 的 “实际 的 缺陷 密度 1” 和 “实际 的 缺 
陷 密度 2” ) 。 


实际 的 缺陷 
密度 3 (正常 ) 


允许 的 偏差 范围 





估计 的 缺陷 密度 


实际 的 缺陷 实际 的 缺陷 
密度 1 ( 偏 低 ) 密度 2 ( 偏 高 ) 


图 6-11 缺陷 密度 落 到 偏差 范围 外 


如 果 我 们 友 现 实际 的 缺陷 密度 值 偏 高 ( 如 图 6-11 的 “实际 的 缺陷 密度 2” ) ， 通 常 最 
可 能 的 原因 为 : 产品 整体 质量 不 高 。 此 时 ， 软 件 测试 架构 师 可 以 : 


-提高 缺陷 密度 的 预 估 值 。 


对 缺陷 较 多 的 地 方 增加 测试 投入 ， 如 增加 测试 人 人力、 增加 测试 时 间 、 使 用 更 多 的 测 
试 万 法 等 。 


:考虑 和 研发 经 理 、 开 发 人 员 、 系 统 工程 师 等 一 起 进行 一 些 质 量 改 进 和 质量 保证 工 
作 ， 如 加 强 评审 等 。 


如 果 我 们 友 现 实际 的 缺陷 密度 值 偏 低 ( 如 图 6-11 的 “实际 的 缺陷 密度 1” ) ， 通 常 最 
可 能 的 原因 为 : 


-产品 整体 质量 较 好 。 
测试 能 力 不 足 ， 未 能 充分 暴露 缺陷 。 
测试 投入 不 足 ， 未 能 充分 暴露 缺陷 。 


如 果 是 第 一 种 情况 ， 实 际 的 缺陷 密度 值 较 低 ， 我 们 可 以 认为 是 正常 情况 。 如 果 是 后 
面 两 种 情况 ， 软 件 测试 染 构 师 可 以 采取 增加 测试 投入 、 在 测试 团队 中 引入 更 有 效 的 
测试 方法 等 措施 来 解决 相关 的 问题 。 


多 复 率 是 指 产 品 “ 已 经 修复 解决 的 缺陷 总 数 ” 和 “已 经 友 现 缺陷 总 数 ” 的 比 
值 。 例 如 ， 产 品 已 经 发 现 的 缺陷 数目 为 1666 个 ， 已 经 修复 解决 的 缺陷 数目 为 986 


个 ， 当 前 的 缺陷 修复 率 残 是 96%。 


缺陷 修复 率 能 够 帮助 我 们 确定 当前 产品 友 现 的 缺陷 是 否 补 有效 修 复 ， 为 当前 的 产品 
质量 是 人 否 达到 测试 质量 目标 提供 最 直接 的 判断 依据 。 这 需要 我 们 : 


在 每 个 测试 分 层 ( 如 集成 测试 、 系 统 测试 ) 开始 的 时 候 确定 缺陷 修复 率 目标 。 
-在 每 个 测试 分 层 结束 时 判断 是 否 达 到 目标 ， 是 否 可 以 进入 下 一 阶段 的 测试 。 
-如果 最 终 的 缺陷 修复 率 不 能 达到 预期 ， 原 则 上 不 应 该 退出 测试 ， 友 布 产 品 。 


有 时 候 产 品 的 缺陷 实在 太 多 ， 为 了 保证 重要 缺陷 能 够 被 优先 修复 ， 我 们 可 以 对 缺陷 


区 


按照 严重 程度 进行 划分 ， 然 后 按照 不 同 的 严重 程度 来 确定 缺陷 修复 率 。 
1 .缺陷 的 严重 程度 


缺陷 的 严重 程度 是 基于 缺陷 如 果 不 修改 会 对 用 户 造成 的 影响 来 划分 的 。 表 6- 9 是 缺陷 
的 严重 程度 的 定义 和 示例 。 


表 6-9 缺陷 的 严重 程度 的 定义 与 示例 





缺陷 的 严重 程度 示例 
缺陷 发 生 后 ， 产 品 的 主要 |(1) 产品 主要 功能 失效 / 和 用 户 期 望 不 符 ， 用 户 无 法 正常 使 用 
功能 会 失效 ， 业 务 会 陷入 瘫痪 |( 2 ) 由 程序 引起 的 死机 、 反 复 重启 等 ， 并 且 故 障 无 法 自动 恢复 ; 
致命 状态 ， 关 键 数据 损坏 或 丢失 , |(3 ) 死 循环 、 死 锁 、 内 存 漆 露 、 内 存 重 释放 等 ; 
日 故 障 无 法 自行 恢复 (如 无 法 |( 4 ) 系统 存在 严重 的 安全 漏洞 ; 
自动 重启 恢复 ) (5 ) 用 户 的 关键 数据 毁坏 或 丢失 并 不 可 恢复 
( 续 ) 
缺陷 的 严重 程度 示例 


“ 品 重要 功能 不 稳定 
由 各 序 引起 的 非法 退出 、 重 启 等 ,但 是 故障 可 以 自行 恢复 ; 


缺陷 发 生 后 ， 主 要 功能 无 法 es rd 
区 了 发 生 后 ， 主 要 切 能 无 法 | ( 3 ) 文档 与 产品 严重 不 符 、 缺 失 ， 或 存在 关键 性 错误 ; 
使 用 、 失 效 ， 存 在 可 靠 性 、 安 产品 难于 理解 和 操作 : 
严重 全 、 性 能 方面 的 重要 问题 ， 但 
耕 由 天 问题 后 一 划 可 区 站 三 攻 | 405， 产 蜗 光 法 连 行 于 党 的 纤 护 性 ; 
产品 升级 后 功能 出 现 丢 失 、 性 能 下 降 等 ; 
性 能 达 不 到 系统 规格 ; 
产品 不 符合 标准 规范 ,存在 严重 的 兼容 性 问题 


复 (如 可 以 通过 自动 重启 恢复 ) 


产品 一 般 性 的 功能 失效 或 不 稳定 ; 
缺陷 发 生 后 ， 系 统 在 功能 、| ( 2 ) 产品 未 进行 输入 限制 (如 对 正确 值 和 错误 值 的 界定 ); 
父 | 


性 能 、 可 靠 性 、 易 用 性 、 可 维 一 般 性 的 文档 错误 ; 
护 性 、 可 安装 性 等 方面 的 一 般 | (4 ) 产品 一 般 性 的 规范 性 和 兼容 性 问题 ; 
性 问题 5 ) 系统 报表 、 日 志 、 统 计 信 息 sa 现 错误 ; 
系统 调试 信息 难于 理解 或 存在 错误 
asia 

: 品 的 提示 信息 不 够 清晰 准确 ， 难 于 理解 ; 
文档 中 存在 错别字 、 语 句 不 通顺 等 问题 ; 
4 ) 长 时 间 操作 未 给 用 户 提供 进度 提示 


缺陷 发 生 后 ， 对 用 户 只 会 
提示 造成 轻微 的 影响 ， 这 些 影 呈 一 
般 在 用 户 可 以 忍受 的 范围 内 





2 .考虑 了 缺陷 的 严重 程度 的 缺陷 修复 率 


考虑 了 缺陷 的 严重 程 大 后， 缺陷 修复 率 变 成 了 在 某 尝 特定 的 严重 程度 下 ， 缺 陷 的 修 
复 率 ， 例 如 : 


一般 以 上 缺陷 的 修复 率 : 缺陷 的 严重 程度 为 “一 般 ”“ 严 重 ” 和 “致命 ”的 修复 
交 


严重 以 上 缺陷 的 修复 率 : 缺陷 的 严重 程度 为 “严重 ”和 “致命 ”的 修复 率 。 


考虑 了 缺陷 的 严重 程度 后 ， 有 助 于 开 有 友人 员 和 测试 人 员 把 精力 聚焦 到 对 用 户 影 响 更 
为 严重 的 缺陷 的 解决 和 验证 上 。 例 如 ， 录 产品 友 现 了 1666 个 缺陷 ， 其 中 “致命 ” 缺 
陷 56 个 ，“ 严 重 ” 缺 陷 266 个 ，“ 一 般 ” 缺 陷 556 个 ，“ 提 示 ” 缺 陷 266 个 。 解 决 了 
266 个 “严重 ”缺陷 和 解决 了 2686 个 “提示 ”缺陷 ，“ 缺 陷 修复 率 ” 都 是 26%， 但 显 


而 易 见 的 是 ， 前 者 对 用 尸 、 对 产品 质量 都 更 有 意义 。 


6.6.3 缺陷 趋势 分 析 


缺陷 趋势 是 指 “ 随 者 测试 时 间 的 进行 ， 测 试 友 现 的 缺陷 趋势 和 开 上 友 解 决 缺陷 的 趋 
势 ”。 我 们 进行 此 项 分 析 的 重要 原因 在 于 : 缺陷 趋势 分 析 能 够 帮助 我 们 判断 当前 系 
统 是 否 还 能 很 容易 地 上 友 现 缺陷 ， 进 而 帮 我 们 确定 是 否 可 以 退出 测试 ， 友 布 产 品 。 

1 .绘制 缺陷 趋势 图 

进行 缺陷 趋势 分 析 的 第 一 步 是 绘制 缺陷 趋势 分 析 图 。 方 法 很 简单 ， 我 们 只 需要 记录 
每 天 “ 友 现 的 缺陷 数 ” 和 “解决 的 缺陷 数 ”， 并 由 此 算出 每 天 “聚积 皮 现 的 缺陷 
数 ” 和 “了 标 积 解决 的 缺陷 数 ” 即 可 ， 见 表 6-168。 


表 6-16 缺陷 趋势 分 析 表 


测试 时 间 
累积 发 现 的 缺陷 数 os 
新 发 现 的 缺陷 数 i 
累积 解决 的 缺陷 数 


当前 解决 的 缺陷 数 





对 表 中 的 统计 项 说 明 如 下 : 

` 暴 积 发 现 的 缺陷 数 : 从 开始 测试 到 现在 ， 测 试 团队 发 现 的 缺陷 总 数 。 

新 友 现 的 缺陷 数 : 测试 团队 当天 新 友 现 的 缺陷 忆 数 。 

聚积 解决 的 缺陷 数 : 从 开始 测试 到 现在 ， 经 测试 确认 已 经 被 正确 修复 了 的 缺陷 总 
:当前 解决 的 缺陷 数 : 当天 新 被 测试 确认 已 经 被 正确 修复 了 的 缺陷 总 数 。 


我 们 将 表 6-16 绘 成 图 ， 融 得 到 了 如 图 6-12 所 示 的 缺陷 趋势 分 析 图 。 


一 人 一 累积 发 现 的 缺陷 数 
国 一 新 发 现 的 缺陷 数 
一 全 一 累积 解决 的 缺陷 数 


当前 解决 的 缺陷 数 





图 6-12 缺陷 趋势 分 析 图 


在 绘制 缺陷 趋势 分 析 图 时 ， 不 要 忘记 去 掉 节 假日 、 周 末 公休 日 等 “没有 工作 的 日 
子 ”。 例 如 ， 在 本 例 中 我 们 去 把 了 “周末 ” ( 2814-9-6 和 2614-9-7 ) 和 “中 秋 
节 ” ( 2614-9-8 ) 。 


绘 好 缺陷 趋势 图 后 ， 接 下 来 的 工作 残 是 进行 缺陷 趋势 分 析 。 此 处 我 们 主要 的 分 析 对 
象 是 “ 票 积 友 现 的 缺陷 数 ” 和 “聚积 解决 的 缺陷 数 ”的 变化 趋势 。 


2 .缺陷 趋势 曲 绪 的 “ 目 驯 性 ”和 “拐点 ” 


数学 中 对 曲线 趋势 进行 分 析 时 ， 会 用 到 “四 凸 性 ”和 “ 拐 后 ”的 概念 。 人 简单 来 说 ， 
拥有 凹 辫 数 特 性 的 曲线 ， 呈现 出 递增 的 变化 趋势 ; 反之 ， 拥 有 吓 函 数 特性 的 曲线 ， 
呈现 出 递减 的 变化 趋势 ; 而 拐点 束 是 思 立 数 和 凸 销 数 中 间 的 连接 点 ， 即 立 数 的 变化 


远 为 出 现 改变 的 点 ， 如 图 6-13 所 示 。 


在 这 里 ， 我 们 将 借用 数学 中 的 “四 驯 性 ”和 “拐点 ”的 概念 ， 来 对 缺陷 趋势 进行 定 
性 分 析 。 


1 ) 理想 的 “累积 友 现 的 缺陷 趋势 ”曲线 


在 理想 情况 下 ， 我 们 希望 “累积 友 现 的 缺陷 趋势 ”曲线 随 测试 时 | 间 ， 在 不 同 的 测试 
阶段 ( 可 以 理解 为 一 个 或 多 个 测试 版 本 ) 呈现 如 图 6-14 所 示 的 变化 趋势 。 


( 1 ) 在 一 个 新 的 测试 阶段 开始 的 时 候 ， 和 希望 “累积 发 现 缺陷 的 趋势 ”为 凹 函 数 ( 如 
图 6-14 中 “@ ”所 示 ) 。 


凸 困 数 


FE 





图 6-13 四 凸 性 和 拐点 


CE | 
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累积 发 现 缺陷 数 掏 点 4 












过 积 发 现 的 
快 陷 趋势 


测试 阶段 1 测试 阶段 2 测试 时 间 
图 6-14 理想 的 变化 趋势 
“ 昧 积 友 现 的 缺陷 趋势 ”为 “ 凹 冰 数 ”， 襄 明 测试 团队 每 天 能 够 友 现 的 缺陷 数目 呈 
现 越 来 越 多 的 趋势 ， 当 前 的 测试 策略 ( 测试 人 力 投入 、 测 试 方法 等 ) 能 够 有 效 上 友 现 
产品 的 缺陷 ， 并 且 未 来 还 可 能 友 现 大 量 缺 陷 。 
( 2 ) 在 测试 策略 不 变 的 情况 下 ， 测试 一 段 时 间 后 ， 出现 “ 拐 上 各 ”( 如 图 6-14 中 “ 拐 


局 1 )。 


在 测试 荣 略 不 变 的 情况 下 ， 出 现 “ 拐 点 ”， 说 明 当前 的 测试 方法 已 经 不 能 有 效 去 除 
系统 的 缺陷 ， 当 前 的 测试 可 以 按照 计划 结束 ， 进 入 下 一 阶段 的 测试 。 


这 里 强调 测试 策略 不 变 非 常 重要 。 例 如 ， 测试 团队 的 投入 减少 了 ， 也 可 能 会 导 
致 “拐点 ”的 出 现 。 这 时 就 需要 我 们 调整 测试 策略 来 达到 测试 目标 ， 而 不 是 准备 结 
束 测试 了 。 


(3 ) 完成 本 阶段 的 测试 内 容 和 测试 目标 ， 开 始 进 入 下 一 阶段 的 测试 。 由 于 对 测试 策 
略 进 行 了 更 新 ，“ 标 积 友 现 的 缺陷 趋 扩 ”又 变 为 止 郧 数 ( 如 图 6-14 中 “Q@” 所 


示 ) ， 出 现 “ 拐 点 ” (如 图 6-14 中 “拐点 2” ) 。 

2 ) “累积 上 友 现 的 缺陷 各 势 ” 的 “拐点 ”出 现 得 过 早 

很 多 时 候 ， 我 们 会 友 现 “ 昧 积 友 现 的 缺陷 趋势 ”的 “拐点 ”会 比 预期 出 现 得 早 ， 如 

图 6-15 所 示 ( 以 “虚线 ”表示 “理想 ”的 情况 ， 实 线 表示 实际 项 目 中 的 情况 ) 。 
款 积 发 现 缺陷 数 


至 积 发 现 的 


和 mm mm 


I 1 ts 
拐点 0】 缺陷 趋势 





测试 阶段 1 测试 阶段 2 ”测试 时 间 
图 6-15 拐点 出 现 


“拐点 ”的 出 现 ， 意 味 着 测试 团队 在 这 个 测试 阶段 里 已 经 无 法 有 效 友 现 产品 的 缺陷 
了 。 出 现 这 种 情况 ， 可 能 的 原因 有 : 


测试 团队 的 投入 上 友 生 了 变化 ( 如 人 员 调 动 或 者 减少 ) ， 并 且 已 经 影响 了 测试 。 


:测试 发 生 了 阻塞 ( 如 产品 质量 差 ， 存在 会 阻塞 测试 执行 的 缺陷 ) ， 无 法 有 效 开 展 测 
试 活动 。 


:测试 策略 不 当 ， 当 前 的 测试 方法 确实 已 经 发 现 不 了 产品 的 缺陷 了 。 


显然 ， 无 论 是 上 述 哪 种 情况 ， 只 要 我 们 “对 症 下 药 ”， 有 针对 性 地 更 新 测试 策略 ， 
都 能 有 效 地 解决 上 述 的 问题 。 例 如 ， 第 一 种 情况 我 们 可 以 想 办 法 调整 测试 的 人 力 投 
入 ， 使 其 更 为 合理 ; 第 二 种 情况 我 们 只 需要 确定 并 清除 造成 阻塞 的 原因 即 可 。 


判断 问题 是 否 被 有 效 解决 的 方法 也 比较 简单 : 分 析 “ 昧 积 友 现 的 缺陷 趋势 ” 曲 续 是 
否 出 现 由 睛 函数 变 为 止 阔 数 的 拐点 ， 如 图 6-16 的 “拐点 2” 所 示 ( 以 “虚线 ” 表 
示 “ 理 想 ” 的 情况 ， 实 线 表 示 实 际 项 目 中 的 情况 ) 。 


累积 发 现 缺陷 数 


累积 发 现 的 
缺陷 趋势 








-> 


” 
a 
一 


更 新 |" 测试 策略 " 





测试 阶段 1 测试 阶段 2 测试 时 间 


图 6-16 分 析 拐 点 
3 ) “累积 发 现 的 缺陷 趋势 ”的 拐点 未 出 现 


在 实际 项 目 中 ， 还 有 一 种 情况 是 “ 票 积 友 现 的 缺陷 趋 劳 ”的 “拐点 ”一 直 未 出 现 ， 


如 图 6-17 所 示 ( 以 “虚线 ”表示 “理想 ”的 情况 ， 实 线 表示 实际 项 目 中 的 情况 ) 。 


累积 发 现 的 
vhs /7 帮 半 FAz 十 各 技 
累积 发 现 缺陷 数 和 缺陷 趋 热 





测试 阶段 1 测试 阶段 2 测试 时 间 
图 6-17 拐点 未 出 现 
这 说 明 在 这 个 测试 阶段 里 ， 测试 团队 依然 可 以 友 现 产品 大 量 的 问题 。 出 现 这 种 情 
况 ， 可 能 的 原因 是 : 
:测试 团队 未 按照 测试 策略 进行 测试 ， 可 能 使 用 了 更 多 、 更 复杂 的 方法 来 友 现 产品 缺 
陷 。 
:版 本 质量 太 差 ， 缺陷 密度 高 于 了 预期。 
出 现 第 一 种 情况 ， 这 个 团队 的 测试 者 水 平 应 该 比较 不 错 ( 至 少 掌握 的 测试 方法 比较 


多 ) ; 也 应 该 比较 有 测试 激情 ( 不 是 按照 软件 测试 架构 师 要 求 的 任务 测 完 就 结束 
了 ， 而 是 目 己 主动 去 友 现 系统 更 多 的 问题 ) ; 另外 版 本 的 质量 可 能 也 不 错 ( 至 少 还 


能 够 使 用 各 种 测试 万 法 来 “折腾 ”系统 ) ， 没 有 严重 的 测试 阻塞 。 但 这 依然 需要 软 
件 测试 以 构 师 和 测试 者 仔细 核对 测试 计划 ， 确 认 测 试 者 是 在 保证 了 测试 计划 的 前 提 
下 才 进 行 友 挥 的 一 核对 的 过 程 可 能 会 让 人 感到 有 些 乾 姑 ， 但 我 们 的 核心 理念 
通过 测试 荣 略 来 进行 “刚刚 好 ”的 测试 ， 而 不 仅 是 为 了 友 现 产品 的 缺陷 。 


所 以 ， 我 们 的 测试 内 容 会 包含 一 些 不 太 容 易 友 现 缺 陷 ， 但 很 重要 的 项 目 。 我 们 必须 
保证 对 这 部 分 内 容 的 确认 ， 尽 管 这 可 能 影响 我 们 友 现 的 缺陷 忆 数 。 


如 果 确 认 友 现 测 试 计划 存在 偏差 ， 需要 在 下 个 版 本 中 进行 补充 测试 ， 并 和 测试 者 做 
好 沟通 。 


出 现 第 二 种 情况 ， 软 件 测试 架构 师 可 以 考虑 从 如 下 几 个 方面 来 更 新 后 续 的 测试 策 
略 : 


-增加 相关 内 容 的 测试 用 例 执行 次 数 。 

:加强 相关 内 容 的 回归 测试 。 

对 友 现 的 缺陷 进行 逆向 分 析 ， 增 加 探索 式 ;测试 。 

3 .缺陷 是 否 收 全 

我 们 在 判断 缺陷 趋势 是 否 收敛 时 ， 需 要 具备 以 下 两 个 条 件 ， 缺 一 不 可 ( 图 6-18 ) : 
“累积 友 现 的 缺陷 趋势 ” 变 为 凸 函数 。 


“了 时 积 友 现 的 缺陷 趋势 ”和 “ 票 积 解决 的 缺陷 趋势 ”两 条 曲线 趣 来 越 靠 近 ， 最 后 逐 
渐 趋 于 一 点 Mo 


册 羽 | Cy 3 EH 1 > 并 | ty hr 1 pr 十 户 :所 
:> 等 积 发 现 的 献 陷 趋 执 


累积 解决 的 缺陷 趋 热 










缺陷 趋势 





两 条 曲线 呈现 出 越 靠 越 近 的 趋 热 


测试 时 间 
图 6-18 判断 缺陷 趋势 是 否 收 爹 


缺陷 收敛 襄 明 当前 测试 已 经 不 能 有 效 友 现 问题 ， 并 且 友 现 的 缺陷 也 已 经 被 有 效 修 
复 。 每 做 完 一 个 测试 分 层 ( 如 集成 测试 、 系 统 测试 ) 的 测试 ， 都 需要 进行 一 次 缺陷 
收敛 分 析 ， 以 确认 是 否 满足 该 阶段 测试 的 出 入 口 条 件 。 此 外 ， 缺 陷 收 敛 还 是 我 们 最 
后 判断 测试 是 否 能 够 退出 的 必要 条 件 一 一 即便 按照 计划 ， 测试 时 间 已 经 到 了 ， 如 果 
缺陷 不 收敛 ， 也 不 应 访 退 出 测试 ， 友 布 产品 。 


下 述 几 种 缺陷 趋势 图 ， 都 不 算 缺 陷 收 敛 。 


( 1 ) 两 条 曲线 未 出 现 越 靠 越 近 的 趋势 ， 如 图 6-19 所 示 。 


凸 国 数 -~ 
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缺陷 趋势 累积 发 现 的 缺陷 趋势 





素 积 解决 的 缺陷 趋势 


两 条 曲线 未 出 现 越 徘 越 近 的 趋势 


测试 时 间 
图 6-19 非 缺陷 收敛 (一 ) 


这 时 最 主要 的 问题 在 于 开发 还 有 较 多 的 缺陷 需要 修复 ， 测 试 还 有 较 多 的 缺陷 需要 验 
证 。 我 们 不 应 该 忽视 缺陷 修复 市 来 的 代码 改动 或 引入 的 新 问题 。 缺 陷 验 证 、 回 归 测 
试 和 基于 缺陷 的 探索 式 测 试 都 可 能 再 友 现 一 些 新 的 缺陷 ， 甚 至 迎 来 新 一 轮 的 “缺陷 
小 高 峰 ” ，“ 囚 积 友 现 的 缺陷 趋势 ”出 现 新 的 “ 拐 筷 ”。 因 此 我 们 可 以 认为 有 限 、 
可 控 的 代码 改动 是 缺陷 收敛 的 必要 条 件 。 当 我 们 友 现 缺陷 不 收敛 时 ， 做 好 代码 改动 
方面 的 控制 ， 是 一 个 很 好 的 思路 : 


严格 控制 代码 改动 ， 非 必要 不 改动 。 
做 好 代码 的 静态 检查 。 
做 好 和 修改 相关 的 功能 目测 ， 避 免 因为 缺陷 修改 而 引入 新 的 问题 。 


( 2 ) 紧 积 友 现 的 缺陷 趋势 为 叫 函 数 。 如 果 累 积 友 现 的 缺陷 趋势 力 叫 函数 ， 即 使 罕 积 
友 现 的 缺陷 趋势 和 办 积 解 决 的 缺陷 趋势 呈现 出 越 靠 越 近 的 趋势 ， 也 不 算 缺 陷 收 名 
一 一 但 是 能 况 明 开 妈 修改 缺陷 的 速度 还 杰 快 的 ， 如 图 6- 26 所 示 。 
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两 条 曲线 呈现 出 越 靠 越 近 的 趋势 


测试 时 间 
图 6-26 非 缺陷 收敛 (二 ) 


此 时 最 主要 的 问题 是 测试 还 能 友 现 产品 大 量 的 缺陷 。 读 者 可 以 参考 上 一 节 中 的 分 析 
来 确定 解决 措施 。 


6.6.4 缺陷 年 龄 分 析 


缺陷 年 龄 是 指 软件 ( 系统 ) 产生 或 引入 缺陷 的 时 间 。 为 了 便于 对 缺陷 年 龄 进行 分 
析 ， 我们 对 不 同 阶 段 引 入 的 缺陷 年 龄 的 定义 见 表 6-11。 


表 6-11 缺陷 年 龄 的 定义 


缺陷 年 龄 
继承 或 历史 遗留 


需求 阶段 引入 


设计 阶段 引入 


编码 阶段 引入 


新 需求 或 变更 引入 


缺陷 年 龄 


缺陷 修改 引入 


进行 缺陷 年 龄 分 


析 活 动 。 





描述 
属于 历史 版 本 、 继 承 版 本 或 是 移植 代码 中 的 问题 ， 非 新 开发 的 问题 
缺陷 是 在 产品 需求 设计 阶段 引入 的 ， 主 要 包括 如 下 情况 : 
(1 ) “需求 不 清 ” 的 问题 ; 
(2 ) “需求 错误 ”的 问题 ; 
(3 ) 系统 整体 设计 ”的 问题 
缺陷 是 在 产品 设计 阶段 引入 的 问题 ， 主 要 包括 如 下 情况 : 
) “功能 和 功能 之 间接 口 ” 的 问题 ; 
2 ) “功能 交互 ”的 问题 ; 
3 ) “边界 值 设 计 ” 方 面 的 问题 ; 
4 ) “流程 、 逻 辑 设 计 相 关 ” 的 问题 ; 
5 ) “算法 设计 ”方面 的 问题 
缺陷 是 在 编码 阶段 引入 的 问题 ， 主 要 包括 如 下 情况 : 
(1) 流 程 、 逮 辑 实现 相关 ”的 问题 ; 


通 ， 
( 
( 
( 
( 


(2》 生机 实现 相关 ”的 问题 ; 
(3 ) 编程 规范 相关 ”的 问题 ; 
(4 :模块 和 模块 之 间接 口 ” 的 问题 
缺陷 是 因 为 新 需求 、 需 3 求 变 恋 或 设 i Ll 有 俊昌 | 入 的 问 题 
( 续 ) 
描述 
缺陷 是 因为 修改 缺陷 时 引入 的 问题 。 如 开发 虽然 成 功 修复 了 一 个 缺陷 ,但 修改 又 引入 了 新 的 


缺陷 


析 ， 能 够 帮助 我 们 确认 每 个 可 能 引入 缺陷 环节 、 可 能 引入 的 缺陷 是 
否 都 已 经 被 有 效 去 除 。 具 体操 作 时 ， 我 们 通 


过 以 下 简单 的 3 个 步骤 来 开展 缺陷 年 龄 分 


第 一 步 : 确定 缺陷 的 缺陷 年 龄 。 


如 果 你 的 项 目 有 缺陷 的 管理 工具 ( a ) ， 


可 以 增加 缺陷 年 龄 的 选项 。 在 开 


发 修复 缺陷 的 时 候 ， 可 以 对 缺陷 年 龄 进行 选择 。 


如 果 没 有 缺陷 管理 工具 也 没有 关系 ， 你 可 以 使 用 类 似 表 6-12 的 形式 来 确定 缺陷 年 


止 人 
办 Xo 


表 6-12 缺陷 年 龄 确定 方法 


缺陷 ID 缺陷 年 龄 
1 缺陷 修改 引入 
2 和 天 陶 新 需求 或 变更 引入 





3 编码 阶段 引入 
第 二 步 : 统计 出 各 类 缺陷 年 龄 的 数量 ， 绘 制 缺 陷 年 龄 分 析 图 。 
接 下 来 我 们 需要 统计 出 各 类 缺陷 年 龄 的 数量 ， 见 表 6-13。 


表 6-13 缺陷 年 龄 的 数量 


I ET 
继承 或 历史 遗留 编码 阶段 引入 


需求 阶段 引入 局 修改 引信 


设计 阶段 引入 | ”40 ”| ”新 需求 或 变更 引入 





并 根据 表 中 的 数据 绘 出 缺陷 年 龄 分 析 图 ， 如 图 6-21 所 示 。 

图 继承 或 历史 遗留 

昌河 求 阶段 引入 
设计 阶段 引入 
恒 编码 阶段 引入 
缺陷 修改 引入 

国 新 需求 或 变更 引入 





图 6-21 缺陷 年 龄 分 析 图 


AAAVAWO 


1 ) 理想 的 缺陷 年 龄 分 析 医 
理想 的 缺陷 年 龄 分 析 图 应 该 是 如 下 这 样 的 。 


( 1 ) 在 缺陷 的 引入 阶段 束 能 及 时 友 现 该 类 缺陷， 缺陷 不 会 逃逸 到 下 个 阶段 ,如 图 6- 


22 所 泵 。 


需求 review : 去 除 设计 review :去除 编 个 review : 去 除 


长 阶段 引入 的 缺陷 ”| “设计 阶段 引入 的 缺陷 ”| “编码 阶段 引入 的 缺陷 ” 


单元 测试 : 去 除 “ 编 
码 阶段 引入 的 缺陷 ” 





图 6-22 引入 阶段 


例如 ， 当 你 分 析 设计 阶段 的 缺陷 年 龄 时 ， 分 析 结 果 融 是 一 个 “大 圆 饼 ”一 一 所 有 的 
缺陷 年 龄 都 是 在 设计 阶段 引入 的 ， 没 有 在 需求 阶段 引入 的 缺陷 。 换 句 话 说， 需求 阶 
段 引 入 的 缺陷 在 需求 分 析 阶 段 就 已 经 锐 完 全 去 除了 。 

如 果真 能 达到 这 样 的 水 平 ， 测 试 也 残 可 以 “光荣 ”失业 了 。 但 实际 情况 是 ， 每 个 阶 
段 都 会 有 一 些 缺 陷 “ 逃 逸 ”到 下 一 阶段 ， 需 要 “测试 ”来 点 现 这 些 逃 挥 的 缺陷 。 


通过 前 几 章 的 叙述 ， 我 们 已 经 了 解 到 测试 不 应 访 想 到 哪里 融 测 到 哪里 ， 而 应 该 进行 


分 层 测试 : 在 每 个 测试 分 层 围绕 不 同 的 测试 目标 ， 使 用 不 同 的 测试 方法 来 进行 测 
试 。 因 此 ， 针 对 测试 阶段 理想 的 缺陷 年 龄 分 析 图 应 该 是 下 面 这 样 的 。 


( 2 ) 在 特定 的 测试 分 层 友 现 该 层 的 问题 ， 如 图 6-23 所 示 。 


需求 review : 去 除 设计 review : 去 除 编码 review : 去 除 | 集成 测试 : 去 除 “ 编 码 阶段 ” 
“需求 阶 | 有 引入 的 缺陷 " “设计 阶段 引入 的 缺陷 ”| ”编码 阶 ] 外 引入 的 缺陷 ， 和 “设计 阶段 ”引入 的 缺陷 





机 本 则 试 : 去 除 “ 编 | 系统 测试 : 去 除 “ 编 码 阶 段 ” 


码 阶 段 引 入 的 缺陷 ” 和 “设计 阶段 ”引入 的 缺陷 


验收 测试 : 去 除 “ 设 计 阶 段 ” 
引入 的 缺陷 


图 6-23 发 现 特定 测试 分 层 问 题 


例如 ， 在 集成 测试 和 系统 测试 阶段 友 现 的 缺陷 ， 主 要 是 在 编码 阶段 引入 的 和 在 设计 
阶段 引入 的 。 在 验收 测试 阶段 友 现 的 缺陷 主要 是 在 设计 阶段 引入 的 。 


对 其 他 几 类 缺陷 年 龄 ， 我们 的 期 望 是 : 
没有 继承 或 历史 遗留 引入 的 缺陷 。 
没有 新 需求 或 变更 引入 的 缺陷 。 

没有 缺陷 修改 引入 的 缺陷 。 
2 ) 没有 在 特定 的 测试 层次 发 现 该 层 的 缺陷 


例如 ， 在 集成 测试 阶段 ， 我 们 希望 友 现 在 编码 阶段 和 设计 阶段 引入 的 缺陷 ， 但 实际 
上 却 友 现 了 大 量 的 在 需求 阶段 引入 的 缺陷 。 这 说 明 : 


-产品 需求 的 质量 不 高 ， 需 求 存 在 不 清晰 或 错误 的 情况 。 


:系统 架构 设计 的 质量 不 高 。 


产 
:系统 架构 设计 的 质量 不 高 ， 产 品 在 非 功 能 属性 方面 的 质量 也 不 会 太 高 。 
这 束 需 要 测试 或 整个 研发 团队 来 有 针对 性 地 进行 改进 。 例 如 : 

对 需求 再 次 进行 检测 ， 确 保 尚 未 集成 的 功能 对 应 的 需求 的 正确 性 。 


分 析 架 构 设 计 中 的 问题 ， 找 出 对 非 功能 属性 方面 的 主要 影响 ， 调 整 测试 策略 ， 尽 量 
提前 并 加 大 这 些 内 容 的 测试 力度 。 


:调整 测试 策略 ， 增 加 相关 功能 的 测试 力度 和 回归 测试 的 规模 。 
3 ) 继承 或 历史 遗留 引入 的 缺陷 过 多 


当 我 们 友 现 测试 中 出 现 了 很 多 因为 继承 或 历史 遗留 引入 的 缺陷 时 ， 这 就 说 明 产 品 还 
存在 一 些 “ 旧 账 ”尚未 清理 ， 这 时 我 们 需要 : 


:进行 或 重新 进行 老 功能 分 析 ( 详 见 6.7.2 节 ) ， 更 新 测试 策略 。 
对 这 些 缺 陷 进 行 分 析 ， 由 此 更 新 测试 策略 ， 进 行 探索 式 测试 。 


-如果 被 继承 的 版 本 处 于 维护 阶段 ， 考虑 这 些 缺 陷 是 否 需 要 在 维护 版 本 中 解决 ， 并 友 
布 补丁 或 升级 包 。 


-确认 家 继 承 的 版 本 在 维护 阶段 友 现 的 其 他 缺陷 ， 是 否 需要 同步 到 当前 新 版 本 中 。 


如 图 6-24 所 示 。 
4 ) 新 需求 或 变更 引入 的 缺陷 过 多 


当 我 们 在 进 行 缺陷 年 龄 分 析 时 ， 友 现 了 很 多 因为 新 需求 或 变更 引入 的 缺陷 ， 出 现 这 
种 情况 可 能 的 原因 是 : 


4. V1.0 在 维护 阶段 | 
新 发 的 缺陷 ， 是 否 需 | 
要 同步 到 V1.1 中 I 


| 


3. V1.1 中 发 现 的 V1.0 引 : 
入 的 缺陷 ， 和 en em 






V1.1 在 V1.0 
的 基础 上 开发 


pA 


引入 的 缺陷 进行 分 析 ， 


P| 


图 6-24 清理 “旧账 ” 

新 需求 或 需求 变化 的 部 分 比较 多 ， 引 入 了 缺陷 。 

新 需求 的 质量 可 能 不 高 ， 引 入 了 缺陷 。 

:产品 设计 的 质量 可 能 不 高 ， 导致 设计 需要 频繁 更 改 ， 从 而 引入 缺陷 。 


对 软件 测试 染 构 师 来 说 ， 可 以 采取 的 措施 有 : 


\ 一 一 


对 这 些 缺 陷 进 行 分 析 ， 由 此 更 新 测试 策略 ， 增 加 探索 或 测试 。 


CS 


-增加 或 加 强 和 需求 淤 清 相 关 的 活动 。 
-增加 或 加 强 和 开 友 人 员 与 测试 人 员 之 间 针 对 产品 设计 进行 的 沟通 活动 。 
-增加 一 些 功 能 交互 测试 和 场景 测试 。 


但 想 从 根本 上 改善 上 述 问 题 ， 还 是 需要 研 友 经 理 、 系 统 架 构 师 和 开 友 者 一 起 来 回溯 
忌 结 ， 做 好 变更 控制 ， 提 高 变更 内 容 ( 需求 或 设计 ) 的 质量 。 


5 ) 缺陷 修改 引入 的 缺陷 过 多 


在 进行 缺陷 年 龄 分 析 时 ， 如 果 出 现 了 很 多 因为 缺陷 修改 引入 的 缺陷 ， 说明 开 妈 修 改 
缺陷 的 质量 不 高 ， 对 软件 测试 以 构 师 而 言 ， 可 以 采取 的 措施 有 : 


-验证 缺陷 时 ， 除 了 验证 缺陷 本 身 是 否 被 正确 修复 外 ， 还 需要 围绕 缺陷 展开 探索 式 测 
试 。 
-加 大 对 基本 功能 进行 回归 测试 的 比例 。 


-增加 或 加 强 和 开 友 人 员 与 测试 人 员 之 间 对 缺陷 修改 的 内 容 、 影 响 的 沟通 ， 尤 其 是 针 
对 重点 或 修改 较 大 的 缺陷 。 


` 可 以 和 开发 人 员 约 定 一 些 有 利于 缺陷 修改 质量 提升 的 措施 ， 如 对 修改 的 代码 要 进行 


review 后 才能 合 入 ， 每 个 修复 的 缺陷 开 友 都 需要 提供 目 验 报告 ， 等 等 。 


缺陷 修改 引入 缺陷 还 会 市 来 的 另外 一 个 影响 ， 融 是 缺陷 不 会 收 勾 。 也 瓯 是 说， 我 们 
可 以 通过 控制 提高 缺陷 修复 的 质量 ， 来 促进 缺陷 的 快速 收敛 ， 这 点 对 软件 测试 以 构 


师 制定 、 更 新 测试 策略 来 说 尤为 重要 。 
6.6.5 缺陷 触 上 因素 分 析 


缺陷 的 触及 因素 残 是 测试 者 友 现 缺陷 的 测试 方法 。 缺 陷 触 友 因 素 分 析 ， 融 是 对 测试 
中 使 用 的 测试 方法 进行 分 析 。 


对 缺陷 触发 因素 进行 分 析 ， 能 够 帮助 我 们 确认 产品 测试 是 否 已 经 进行 得 足够 全 面 和 
深入 一 一 缺陷 触 友 因 素 越 全 面 ， 说 明 测 试 中 使 用 的 测试 方法 越 多 ， 测 试 得 也 越 深 
入 ; 有 反之 意味 着 测试 方法 可 能 比较 单一 ， 测 试 得 比较 浅 ， 产 品 可 能 还 存在 一 些 缺 陷 
未 能 被 有 效 去 除 。 


和 缺陷 年 龄 分 析 方 法 类 似 ， 我 们 也 可 以 通过 下 面 3 个 步骤 来 进行 缺陷 触 友 因素 分 析 。 
第 一 步 : 确定 缺陷 的 测试 方法 和 测试 类 型 。 


如 果 你 的 项 目 有 缺陷 的 管理 工具 ( 如 bugzil11a ) ， 可 以 增加 测试 方法 和 测试 类 型 的 
选项 ， 在 测试 发 现 缺陷 的 时 候 来 记录 相关 的 信息 。 


如 果 没 有 缺陷 管理 工具 也 没有 关系 ， 你 可 以 使 用 类 似 表 6-14 的 形式 ， 来 确定 该 缺陷 
的 测试 方法 和 测试 类 型 。 


表 6-14 确定 缺陷 测试 万 法 和 测试 类 型 


1 单 运行 正常 输入 功能 测试 

2 多 运行 相互 作用 功能 测试 

3 多 运行 顺序 执行 功能 测试 

4 多 运行 相互 作用 功能 测试 

5 单 运行 边界 值 输入 功能 测试 
i 





6 稳定 性 测试 法 可 靠 性 测试 
7 压力 测试 法 可 靠 性 测试 
可 用 性 测试 法 易 用 性 测试 


第 二 步 : 统计 出 各 种 测试 方法 上 友 现 的 缺陷 数目 ， 绘 制 缺陷 触 友 因素 分 析 图 。 





接 下 来 我 们 需要 统计 出 各 类 测试 方法 的 数量 ， 见 表 6-15。 


表 6-15 测试 方法 数量 


测试 类 型 测试 方法 测试 类 型 测试 方法 
功能 测试 单 运行 正常 输入 可 靠 性 测试 稳定 性 测试 法 


功能 测试 多 运行 相互 作用 5 可 靠 性 测试 压力 测试 法 
功能 测试 多 运行 顺序 执行 另 用 性 测试 可 用 性 测试 法 
功能 测试 单 运行 边界 值 输入 











并 根据 表 中 的 数据 绘 出 缺陷 触 友 因 素 分 析 图 ， 如 图 6-25 所 示 。 


单 运 行 边界 值 输入 
国 单 运行 正常 输入 
国 多 运行 顺序 执行 


A 用 性 测 试 


可 靠 性 测试 围 多 运行 相互 作用 
可 用 性 测试 法 
i 刍 定 性 测试 法 
功能 测试 定性 : jj 试 沪 
压力 测试 法 





图 6-25 缺陷 触发 因素 分 析 图 

第 三 步 : 进行 缺陷 触发 因素 分 析 

在 理想 情况 下 ， 我 们 希望 做 出 的 缺陷 触发 因素 图 和 测试 策略 是 吻合 的 。 例 如 ， 当 前 
版 本 我 们 的 测试 策略 是 : 

对 功能 首先 进行 配置 的 遍历 测试 ， 需 要 保证 新 提交 的 命令 行 和 以 前 已 有 的 Web 页 面 功 
能 具有 一 致 性 ; 再 进行 基本 功能 测试 ， 能 够 覆盖 业务 流程 的 基本 路 径 ; 最 后 进行 满 
规格 的 测试 。 

按照 上 述 测试 策略 ， 我 们 希望 的 缺陷 触发 因素 图 包含 的 测试 方法 和 对 应 的 测试 内 容 
大 致 为 : 
:功能 测试 一 一 单 运行 正常 输入 : 进行 基本 功能 测试 ， 履 盖 业 务 流 程 的 基本 路 径 测 试 
时 发 现 的 问题 。 








:功能 测试 一 一 单 运行 边界 值 测试 : 进行 配置 测试 时 发现 的 问题 。 
:功能 测试 一 一 多 运行 相互 作用 : 进行 基本 功能 测试 ， 履 盖 业 务 流程 的 基本 路 径 和 配 





置 测试 时 友 现 的 问题 。 
性 能 测试 : 进行 满 规格 测试 时 友 现 的 问题 。 


如 果 我 们 持续 对 产品 进行 缺陷 触 友 因素 分 析 ， 参 考 历史 数据 ， 结 合 目 身 的 经 验 ， 我 
们 还 可 以 得 到 “不 同 的 测试 方法 上 友 现 缺陷 的 大 致 比值 和 分 布 ”。 当 然 ， 这 个 比值 可 
能 不 是 很 准 ， 但 是 也 可 以 作为 软件 测试 架构 师 对 数据 进行 分 析 时 的 参考 。 


很 多 时 候 ， 我 们 都 会 友 现 ， 根 据 实 际 测试 结果 绘 出 的 缺陷 触发 因素 图 可 能 会 和 之 前 
预期 的 缺陷 触发 因素 图 存在 一 定 的 偏差 ， 可 能 的 情况 有 如 下 两 种 。 


1 ) 有 些 测试 方法 没 能 友 现 缺陷 或 者 友 现 的 缺陷 很 少 

出 现 这 种 情况 ， 可 以 按照 如 下 思路 来 进行 分 析 : 

确认 测试 团队 是 否 按 照 测试 策略 的 要 求 使 用 了 这 种 测试 方法 进行 测试 ? 
如 果 答 案 是 “人 否定” 的， 需要 我 们 进一步 确认 原因 。 弟 见 的 原因 有 : 

' 仔 在 测试 阻塞 ( 如 缺陷 ) ， 无 法 使 用 该 方法 进行 测试 。 

测试 投入 (如 入 、 时 间 ) 不 足 ， 来 不 及 使 用 该 方法 进行 测试 。 

:没有 掌握 该 项 测试 方法 。 


然后 我 们 再 根据 具体 原因 对 症 下 药 ， 更 新 测试 策略 即 可 。 


如 果 答 案 是 “肯定 ”的 ， 即 团队 遵循 了 测试 策略 使 用 该 测试 方法 进行 了 测试 ， 测 试 
投入 和 测试 方法 都 没有 问题 ， 但 是 确实 没有 友 现 上 问题， 或 者 友 现 的 问题 较 少 ， 这 说 
明 当 前 这 种 测试 万 法 确实 不 能 友 现 产品 的 缺陷 ， 这 样 的 结果 应 该 是 合理 的 。 


对 软件 测试 染 构 师 来 说 ， 还 需要 意识 到 的 一 点 束 是 ， 这样 的 数据 结果 可 能 暗示 了 产 
品 在 这 方面 的 质量 不 错 ， 和 其 他 地 方 相 比 风险 较 低 ， 我 们 可 以 考虑 调整 测试 策略 ， 
降低 这 方面 的 测试 投入 ， 减 少 对 该 测试 方法 的 使 用 ， 等 等 。 


2 ) 有 些 测试 方法 友 现 的 缺陷 特别 多 


如 果 我 们 友 现 有 些 测试 方法 友 现 的 缺陷 特别 多 ， 说明 这 种 测试 方法 比较 能 够 有 效 去 
除 产 品 的 缺陷 ， 产 品 在 这 方面 的 质量 可 能 不 高 ， 相 对 其 他 方面 的 风险 较 高 ， 此 时 也 
需要 我 们 调整 测试 策略 ， 如 增加 这 部 分 的 测试 投入 ， 增 加 对 这 部 分 测试 的 方法 的 使 


用 ， 等 等 。 


6.6.6 组 合 使 用 各 种 缺陷 分 析 技 术 


截至 目前 ， 我 们 已 经 介绍 了 5 种 缺陷 分 析 技 术 。 每 一 种 缺陷 分 析 技 术 ， 都 能 够 从 某 些 
方面 来 对 产品 质量 进行 评估 ， 总 结 见 表 6-16。 


表 6-16 产品 质量 评估 表 


缺陷 分 析 方 法 产品 质量 评估 
(1 ) 预测 产品 可 能 会 有 多 少 缺 陷 ; 


缺陷 密度 Ce a 
(2 ) 评估 当前 发 现 的 缺陷 总 数 是 否 足够 多 


缺陷 修复 率 发 现 的 缺陷 是 否 已 经 被 有 效 修复 
缺陷 趋势 分 析 系统 是 否 还 能 被 继续 发 现 缺 陷 
缺陷 年 龄 分 析 每 个 可 能 引入 缺陷 环节 ， 可 能 引入 的 缺陷 是 否 都 已 经 被 有 效 去 除 


缺陷 触发 因素 分 析 测试 是 否 已 经 足够 全 面 


但 是 我 们 进行 缺陷 分 析 ， 并 不 满足 只 对 产品 质量 的 某 一 个 方面 进行 评估 ， 这 融 需 要 
我 们 组 合 使 用 这 些 缺 陷 分 析 近 术 。 


6-26 是 一 个 在 产品 测试 中 组 合 使 用 缺陷 分 析 技 术 示 意图 。 
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图 6-26 缺陷 分 析 技 术 示 意图 

这 套 组 合 策略 隐 谷 了 一 个 条 件 ， 丈 是 缺陷 分 析 应 该 在 测试 项 目 中 持续 地 活动 ， 每 个 
版 本 、 每 个 测试 层次 ， 在 产品 友 布 时 ， 都 需要 进行 缺陷 分 析 。 在 本 书 的 第 8 章 中 ， 我 
们 还 将 为 大 家 详细 叙述 如 何 使 用 缺陷 组 合 分 析 技 术 来 进行 产品 质量 评估 。 


6.7 风险 分 析 技 术 


我 们 将 风险 分 析 技 术 用 在 保证 测试 策略 的 顺利 进行 和 基于 风险 来 加 强 或 降低 测试 投 
入 上 ， 涉 及 的 主要 技术 为 风险 识别 、 风 险 评估 、 风 险 应 对 和 老 功 能 分 析 。 


6.7.1 风险 分 析 


此 处 我 们 讨论 的 风险 分 析 的 对 象 是 测试 策略 ， 目 标 是 提前 识别 那些 可 能 会 阻塞 测试 
策略 顺利 进行 的 问题 ， 包 括 风 险 识别 和 风险 评估 两 个 部 分 。 


1. 风 险 识 别 


我 们 可 以 根据 测试 策略 的 内 容 ， 逐一 分 析 哪 些 问题 可 能 会 对 测试 策略 的 开展 市 来 阻 
碍 ， 并 进行 风险 识别 ， 具 体 的 方法 如 图 6- 27 所 示 。 


Stepl : 分 析 该 项 测试 
活动 需要 关注 哪些 内 容 


Step2 : 分 析 上 述 内 容 


郁 能 够 保质 保 量 顺利 地 
进行 ， 需要 哪些 条 件 





图 6-27 风险 识别 的 方法 


Step3 中 不 能 满足 的 那些 条 件 ， 束 是 我 们 寻 吕 的 风险 点 。 
为 了 更 好 地 说 明 问题 ， 我 们 来 看 一 个 具体 的 例子 。 

举例 : 对 测试 设计 进行 风险 识别 

对 测试 设计 活动 进行 风险 识别 : 

Step1 : 首先 分 析 测 试 设计 需要 关注 哪些 内 容 。 例 如 : 


需要 对 某 个 重要 的 特性 进行 深入 的 测试 ， 需 要 能 够 通过 路 径 分 析 法 来 对 开 友 人 员 的 
设计 流程 进行 全 面 的 覆盖 ， 不 遗漏 基 本 的 流程 。 


需要 能 够 通过 功能 交互 分 析 对 功能 则 的 相互 作用 进行 深入 的 测试 。 
需要 能 够 进行 压力 、 稳 定性 和 性 能 方面 的 测试 。 
Step2 : 分 析 上 述 内 容 都 能 够 保质 保 量 顺利 地 进行 ， 需 要 哪些 条 件 。 例 如 : 


条 件 1 : 开 友 能 够 提供 相关 的 设计 材料 ( 如 相关 的 概要 设计 文档 ) ， 并 且 能 够 保证 材 
料 的 内 容 是 正确 的 。 


条 件 2 : 有 条 件 或 者 有 机 制 能 够 保证 开发 人 员 和 测试 人 员 之 间 的 有 效 沟通 。 


条 件 3 : 测试 人 员 对 产品 的 使 用 场景 、 多 个 特性 都 有 一 定 的 理解 ， 能 够 进行 全 面 的 功 


能 交互 分 析 。 


条 件 4 : 测试 人 员 能 够 理解 并 掌握 压力 、 稳 定性 和 性 能 方面 的 测试 方法 ， 有 能 力 结合 
测试 方法 和 产品 实现 来 进行 测试 设计 。 


step3 : 逐一 分 析 这 些 条 件 是 否 能 够 满足 。 假 如 条 件 1 和 条 件 4 可 能 无 法 满足 那么 
识别 出 来 的 风险 点 就 是 : 

风险 1 : 开发 可 能 会 缺失 重要 的 设计 文档 ， 或 者 一 些 设计 文档 更 新 不 及 时 。 

风险 2 : 测试 人 员 对 压力 、 稳 定性 和 性 能 方面 的 测试 方法 掌握 不 足 ， 可 能 会 出 现 测试 
设计 遗漏。 


需要 特别 说 明 的 是 ， 虽然 此 处 我 们 进行 风险 分 析 的 对 象 是 测试 策略 ， 围 绕 测试 活动 
能 否 正 党 展开 ， 但 并 不 等 于 我 们 只 在 测试 内 部 识别 风险 点 一 一 我 们 依然 要 从 整个 项 
目的 角度 来 进行 风险 识别 。 我 们 可 以 使 用 表 6-17 风 险 识 别 清单 ， 来 帮助 我 们 进行 风 


险 识 别 。 


表 6-17 风险 识别 清单 


分 类 清 说 明 
产品 的 业务 需求 、 用 户 需求 、 功 能 


查 需求 的 质量 ， 确 保 需 求 能 够 有 效 指导 开发 和 测试 


[es 


需求 和 系统 需求 是 否 完整 、 清 晰 ? 






实际 上 ， 在 项 目 中 非常 容易 出 现 开 发 人 员 并 没有 完全 理解 产品 的 需 
开发 人 员 在 进行 产品 设计 之 前 是 否 | 求 ， 就 开始 设计 编码 ， 直 到 系统 测试 阶段 才 发 现 和 需求 不 符 的 问题 。 
充分 理解 了 产品 的 需求 ? 一 旦 出 现 这 样 的 问题 ， 产 品 很 有 可 能 就 会 返工 ， 对 产品 来 说 将 会 是 致 
命 的 打击 

是 否 使 用 了 “新 技术 ”? 包括 产品 之 前 未 使 用 的 新 架构 、 新 平台 、 新 算法 等 

系统 中 是 否 会 存在 一 些 设计 “ 瓶 | 例如 ， 产 品 的 老 架 构 能 否 满足 产品 新 增 特性 的 性 能 、 可 靠 性 方面 的 
贷 ”? 如 果 存 在 ， 是 否 有 应 对 措施 ? | 要 求 ? 

产品 是 否 设 计 得 过 于 复杂 ， 难 以 | 在 项 目 中 ,难于 理解 的 设计 ， 问 题 往往 也 是 比较 多 的 ， 这 提示 我 们 
理解 ? 需要 重点 关注 
一 般 来 说 ， 开 发 人 员 是 可 以 讲 清楚 自己 的 设计 的 。 如 果 开 发 人 员 无 
开发 人 员 是 否 能 够 讲 清楚 产品 设计 ? | 法 讲 清楚 自己 的 设计 ， 这 说 明 设计 本 身 可 能 就 存在 一 些 问 题 。 另 外 ， 
这 部 分 设计 的 可 维护 性 、 可 移植 性 可 能 也 不 会 太 好 

例如 ， 如 果 数 据 被 损坏 了 ， 会 发 生 什么 ,将 如 何 处 理 ? 这 个 功能 使 
用 的 资源 或 组 件 有 没有 可 能 被 其 他 功能 修改 或 影响 ? 有 没有 考虑 能 够 
处 理 的 最 大 负载 ? 等 等 

开发 人 员 在 设计 中 是 否 存在 一 些 比 | 测试 人 员 可 以 适当 多 关注 一 些 开发 人 员 的 主观 感受 ， 而 不 仅仅 是 设 
较 担心 的 地 方 ? 计 文 档 

开发 人 员 是 否 会 考虑 和 设计 一 些 可 | 由 “不 易于 验证 的 设计 ”可 以 推测 出 开发 人 员 在 设计 编码 时 的 自 验 
测试 性 或 者 易于 定位 的 功能 ? 可 能 也 是 不 充分 的 ， 这 部 分 代码 的 质量 可 能 并 不 高 ， 相 对 风险 更 高 

对 一 个 需要 多 人 (或 多 组 ) 才能 配 | 当 开 发 人 员 的 设计 会 依赖 于 其 他 的 设计 时 ， 开 发 人 员 一 般 都 会 假设 
合 完成 的 功能 ， 是 否 有 人 会 进行 整体 | 接口 能 够 满足 自己 的 需求 ， 而 忽视 彼此 的 沟通 和 确认 的 环节 ， 使 得 产 
的 设计 、 协 调和 把 关 ? 品 在 集成 开发 时 候 出 现 问 题 ， 影 响 产 品质 量 和 项 目 进 度 

对 有 依赖 或 约束 的 内 容 ， 是 否 有 充 | 例如， 与 产品 配套 的 日 志 、 审 计 类 产品 是 否 能 够 满足 产品 的 发 布 周 
分 考虑 ? 期 ? 与 产品 相关 的 平台 是 否 稳定 ? 

项 目 是 否 使 用 了 新 的 流程 、 开 发 方 
法 等 ? 

开发 人 员 是 否 会 进行 自 测 ? 是 如 何 | 开发 自 测 是 产品 代码 质量 的 重要 保证 活动 。 测 试 需要 关注 开发 人 员 
进行 自 测 的 ?测试 的 深度 和 发 现 问 题 | 的 自 测 方 法 和 发 现 问题 的 情况 。 一 般 来 说 ， 自 测 充分 的 模块 ， 代 码 质 
的 情况 如 何 ? 量 可 能 会 相对 较 好 ， 反 之 就 有 可 能 就 会 比较 差 

例如 ， 开 发 人 员 是 否 会 对 修改 方案 进行 评审 ? 是 否 会 对 修改 的 代 
码 进行 检视 和 评估 ? 是 否 会 对 修改 进行 测试 验证 ? 是 否 会 进行 回归 测 
试 ? 等 等 

例如 ， 开 发 人 员 是 否 存 在 版 本 分 支管 理 混乱 的 问题 ?是否 会 随意 修 
改 、 合 入 代码 ， 而 不 对 变动 做 记录 和 控制 ? 


开发 人 员 对 异常 、 非 功能 方面 的 内 
设计 | 容 是 否 考 虑 得 足够 全 面 ? 


例如 ， 从 传统 瀑布 开发 模式 到 开始 使 用 敏捷 开发 的 模式 


流程 


开发 人 员 如 何 进行 代码 修改 ， 是 如 
何 保证 修改 的 正确 性 的 ? 





开发 人 员 是 如 何 进行 版 本 管理 的 ? 


( 续 ) 
说 明 

开发 人 员 常 党 会 在 新 版 本 中 对 旧 功 能 进行 优化 。 有 时 候 因 为 优化 的 
代码 量 并 不 大 (如 只 改 了 一 行 代码 )， 开 发 人 员 会 忘记 告诉 其 他 开发 人 
员 或 测试 人 员 ， 但 很 多 时 候 ， 就 是 这 一 行 代码 的 修改 ， 却 会 导致 产品 
的 一 些 功能 失效 ， 影 响 测试 执行 计划 。 因 此 ， 测 试 人 员 需 要 关注 开发 
人 员 的 修改 ， 做 好 控制 和 验证 

在 项 目 过 程 中 ， 需 求 是 否 总 是 在 | ， 如 梨 在 项 目 过 程 中 ， 需 求 总 是 在 频 昆 变化 ， 会 对 开发 设计 和 测试 扫 
变更 ? 行 都 造成 明显 的 影响 

嘟 些 模 决 是 由 其 他 组 织 开发 的 ?他 | 例如， 产品 哪些 部 分 使 用 的 是 开源 代码 ”哪些 部 分 是 由 外 包 团队 提 
们 在 哪里 开发 ? 开发 流程 、 能 力 如 何 ” | 供 的 ? 等 等 ? 

证 全 和 站队 《但 所 需求 、 开 和 | 目前 很 多 产品 研发 都 存在 异地 开发 的 情况 ， 不 能 有 效 沟通 是 这 类 开 
和 测试 ) 是 否 存 在 于 不 同 的 地 方 ? 彼 发 模式 比较 严重 的 问题 
此 分 工 如 何 ? 沟通 是 否 顺畅? 

团队 人员 能 力 如 何 ? 经 验 如 何 ( 包 
括 需求 、 开 发 和 测试 团队 ) ? 

团队 是 否 稳定 《包括 需求 、 开 发 和 
测试 团队 ) ? 

团队 的 人 手 是 否 充足 (包括 需求 、 
开发 和 测试 团队 ) ? 


新 版 本 在 旧 功 能 方面 做 了 哪些 修 
.| 改 ? 修改 后 的 主要 影响 是 什么 ? 


在 大 多 数 公 司 ， 申 请 测试 资源 都 不 是 一 件 容易 的 事情 。 而 且 即 使 
申请 成 功 ， 到 位 也 需要 时 间 。 所 以 对 测试 中 需要 的 资源 ， 需 要 提早 识 
别 ， 尽 早 准备 ， 有 备 无 患 

哪些 特性 在 产品 测试 时 就 存在 有 很 | 根据 “ bug 聚集 性 ”的 理论 ， 历 史上 的 bug 重 灾区 ， 当 前 版 本 可 能 
多 bug ? 继续 需要 重点 关注 

客户 反馈 的 问题 比较 多 ， 说 明之 前 可 能 存在 一 些 测 试 不 充分 的 地 
方 ， 在 当前 版 本 需要 重点 关注 

历史 上 哪些 情况 曾经 导致 过 阻塞 测 | 需要 对 这 些 问 题 进行 根 因 分 析 和 总 结 ， 防 止 同样 的 问题 在 新 的 项 目 
试 活动 的 问题 ? 中 再 度 发 生 ， 历 史 翡 剧 青 度 重演 


测试 环境 是 否 具备 (包括 必 备 的 工 
具 、 硬 件 设备 ) ? 


哪些 特性 存在 较 多 的 客户 反馈 问题 ? 





2. 风 险 评估 


机 会 成 本 告诉 我 们 ， 要 想 用 有 限 的 资源 获得 最 大 的 收益 ， 束 需要 我 们 优先 处 理 最 可 
能 会 友 生 、 影 响 ( 如 损失 ) 最 大 的 事件 。 这 就 需要 我 们 对 识别 出 来 的 风险 点 进行 评 
估 ， 确定 风险 优先 级 ， 然 后 优先 处 理 高 风险 的 问题 。 简 言 之 ， 风 险 评估 的 目标 就 是 
确定 风险 优先 级 。 


1 ) 风险 优先 级 正 交 表 


我 们 可 以 从 两 个 方面 来 进行 风险 评估 ， 确 定 风险 优先 级 ， 即 风险 发 生 频 率 和 风险 影 
响 程 度 ， 如 图 6-28 所 示 。 


风险 优先 级 


风险 影响 程度 





图 6-28 风险 评估 的 两 个 方面 
有 具体 操作 时 ， 我 们 可 以 使 用 正 交 表 ( 表 6-18 ) 来 确定 风险 优先 级 。 


例如 ， 某 风险 的 风险 友 生 频率 为 “中 ”， 风 险 影响 程度 为 “高 ， 根 据 “ 正 交 
表 ”， 对 应 的 风险 优先 级 就 是 “中 高 ” 


表 6-18 正 交 表 












风险 优先 级 
风险 影响 程度 
接 下 来 的 问题 是 ， 我 们 该 如 何 判定 风险 友 生 频率 和 风险 影响 程度 是 “高 ” “中 ”还 


是 “ 低 ” 呢 ? 参考 “风险 识别 清单 ”中 的 分 类 ， 我 对 其 中 部 分 的 风险 友 生 频率 和 风 


允 影 响 程度 进行 了 分 析 ， 供 读者 参考 。 
2 ) 需求 类 的 风险 


需求 类 的 风险 主要 表现 在 如 下 两 点 : 


需求 的 质量 不 高 ， 不 足以 支撑 后 续 开发 和 测试 。 
-开发 和 测试 未 能 正确 理解 需求 。 


上 述 风险 一 旦 成 了 问题 ， 可 能 导致 返工 或 者 需求 变更 ， 对 设计 、 编 码 和 测试 都 会 有 
较 大 的 影响 ， 而 且 风 险 友 生 的 概率 也 会 比较 高 。 因 此 ， 对 需求 类 的 风险 ， 建 议 将 它 
的 风险 的 影响 程度 和 风险 发 生 频 率 设置 为 “高 ”， 重点 关注 。 


3 ) 设计 类 的 风险 


设计 类 的 风险 主要 集中 在 设计 的 正确 性 和 全 面 性 上 。 这 些 风险 一 旦 成 了 间 题 ， 残 是 
产品 缺陷 。 换 句 话 说 ， 它 们 的 风险 友 生 频率 总 是 很 高 的 。 并 且 比 较 麻 烦 的 是 ， 很 多 
时 候 ， 一 个 风险 最 后 会 同系 统 引 入 很 多 缺陷 。 对 测试 而 言 ， 会 增加 测试 的 工作 量 ， 
影响 测试 进度 ， 影 响 产品 质量 。 


我 们 如 何 判断 设计 类 的 风险 的 风险 影响 程度 呢 ? 我 们 假设 这 些 风险 最 后 成 了 缺陷 ， 
对 这 些 由 风险 引入 的 缺陷 ， 我们 评估 一 下 : 


测试 容易 发 现 这 些 缺 陷 吗 ? 

-开发 修复 这 些 缺 陷 的 改动 大 吗 ? 影响 的 功能 模块 多 吗 ? 
测试 容易 验证 这 个 缺陷 吗 ? 回归 测试 的 工作 量 大 吗 ? 
-如果 这 个 缺陷 逃逸 到 了 用 户 处 ， 对 用 户 的 影响 大 吗 ? 


一 般 来 说 ， 测 试 难于 发 现 的 缺陷 ， 风 险 的 影响 程度 更 高 ; 基础 的 、 底 层 的 、 共 用 的 
设计 ， 风 险 的 影响 程度 更 高 ; 需要 特殊 测试 工具 或 复杂 测试 环境 才能 验证 的 ， 风 险 
的 影响 程度 更 高 ; 在 用 户 处 发 生 概 率 高 、 会 对 用 户 的 业务 造成 严重 影响 的 问题 


全 的 影响 程度 更 高 。 
4 ) 流程 类 的 风险 


由 于 大 家 都 要 遵循 流程 ， 所 以 流程 类 风险 的 风险 发 生 频 率 往往 很 高 ， 建议 至 少 为 中 
级 。 


从 风险 影响 程度 的 角度 来 说 ， 会 影响 到 团队 合作 ， 或 是 涉及 规范 性 方面 的 风险 ， 风 
台 的 影响 程度 更 高 ， 建 议 至 少 为 中 级 。 


5 ) 历史 类 的 风险 


“历史 忌 是 会 被 一 次 次 地 重演 ”， 历 史 类 的 风险 也 是 一 样 的 一 一 历史 上 曾经 友 生 过 
的 问题 ， 再 次 成 为 问题 的 风险 依然 很 大 。 所 以 历史 类 的 风险 ， 风 险 友 生 的 概率 应 该 


总 是 高 的 。 
历史 类 风险 的 风险 影响 程度 ， 可 以 参考 历史 的 风险 影响 程度 来 确定 。 

6.7.2 风险 应 对 

在 风险 管理 中 ， 风 险 应 对 主要 分 为 如 下 4 种 : 

-回避 风险 : 指 主动 避 开 损失 发 生 的 可 能 性 。 

-转移 风险 : 指 通 过 某 种 安排 ， 将 自己 面临 的 风险 全 部 或 部 分 转移 给 其 他 一 方 。 
减轻 风险 : 指 采 取 预 防 措施 ， 以 降低 损失 发 生 的 可 能 性 和 影响 程度 。 


-接受 风险 : 指 目 己 理性 或 非 理性 地 主动 承担 风险 。 


下 面 是 一 个 使 用 上 述 4 种 不 同 的 方式 进行 风险 应 对 的 例子 : 
“风险 应 对 ”举例 : 新 需求 在 开 友 过 程 中 不 断 被 增加 
“回避 风险 ”的 做 法 : 置之不理 。 
“转移 风险 ”的 做 法 : 将 新 需求 外 包 ，。 
“减轻 风险 ”的 做 法 : 寻求 额外 资源 或 裁剪 其 他 优先 级 低 的 需求 。 
“接受 风险 ”的 做 法 : 将 新 需求 加 入 项 目 范 围 ， 通 过 加 班 来 完成 新 需求 。 
对 测试 来 说 ， 可 以 结合 风险 和 当前 项 目的 实际 情况 ， 来 选择 合适 的 风险 应 对 方案 。 


此 外 ， 我 也 总 结 了 一 些 项 目 中 常见 的 风险 和 应 对 这 些 风 险 比 较 通用 的 思路 ， 供 读者 
参考 ( 表 6-19 ) 。 


表 6-19 弟 见 风险 及 应 对 思路 


分 类 风险 举例 风险 应 对 思路 


产品 需求 在 业务 场景 上 描述 不 够 
完整 、 清 晰 ， 不 能 有 效 指导 开发 人 
员 和 测试 人 员 的 工作 


(CT 加 强 对 业务 场 最 的 评审 ; 

(2 ) 加 强 开发 、 测 试 和 需求 工程 师 对 业务 场景 的 沟通 、 讨 

论 ， 保 证 开发 、 测 试 和 需求 工程 师 对 场景 的 验收 条 件 的 理解 是 

一 致 的 

(1) 开展 开发 人 员 对 需求 工程 师 进 行 需求 确认 的 活动 ， 确 保 

需求 理解 的 一 致 性 ; 

下 用 人 员 在 进行 产品 设计 之 前 并 | “2 开发 人 员 需 要 逐一 根据 震 求 编写 验收 测试 用 例 ， 确 保 需 

没有 充分 理解 了 产品 需求 ， 特 别 是 | 求 能 各 被 正 确实 现 ， 开 得 油 

ee (3 ) 开发 人 员 针 对 易 用 性 进行 低 保 真 、 高 保 真 设计 ， 并 和 需 
求 工程 师 进 行 评审 确认 ; 

(4 ) 在 需求 中 需要 明确 产品 的 性 能 规格 ; 

(5 ) 测试 人 员 尽 早 展开 和 产品 性 能 相关 的 摸底 测试 


a i (1 ) 将 新 平台 和 昌平 台 进 行 差异 性 分 析 ， 确 定 变化 点 ; 
设计 类 的 风险 | ”产品 使 用 了 新 的 技术 平台 (2 ) 针对 变化 点 进行 专项 测试 


(1 ) 和 需求 工程 师 进行 沟通 ， 确 认 设 计 没 有 超过 需求 要 求 的 
范围 ; 

(2 ) 要 求 开发 人 员 对 设计 进行 讲解 ; 

(3 ) 增加 这 部 分 的 测试 投入 

(1 ) 建议 开发 增加 一 位 总 体 责任 人 ， 负 责 确认 接口 、 整 体 协 
产品 中 存在 需要 多 人 (或 多 组 )| 调 等 ; 

才能 配合 完成 的 功能 ， 且 缺少 这 个 | (2 ) 建议 开发 人 员 对 该 功能 设计 自 测 用 例 ， 并 在 评审 开发 自 
功能 的 总 体 责任 人 测 用 例 时 进行 确认 ; 

(3 ) 将 该 功能 作为 接收 测试 用 例 ， 避 免 该 功能 造成 测试 阻塞 


(1) 和 开发 人 员 约 定 ， 在 本 轮 版 本 转 测试 的 时 候 ， 需要 提供 
详细 的 自 测报 告 ; 

流程 类 的 风险 | ”开发 自 测 不 充分 (2 ) 评估 开发 人 员 自 测 用 例 的 质量 ， 必 要 时 提供 用 例 设计 指 
导 或 直接 提供 测试 用 例 ; 
(3 ) 搭建 自动 化 测试 环境 ， 供 开发 人 员 自 测 使 用 


AAS | 在 页 目 过 程 中 ,需求 是 再 总 是 在 | (1) 和 开发 人 员 、 需 求 工程 师 进 行 沟通 ， 进 行 需求 控制 
增加 (2 ) 裁剪 部 分 低 优先 级 的 需求 

(1 在 进行 测试 设计 之 前 ， 找 写 得 好 的 测试 用 例 作为 例子 ， 

| 《2 ) 增加 测试 设计 的 评审 检查 点 ， 如 对 测试 分 析 、 测 试 标题 
er 和 测试 内 容 分 别 进行 评审 ; 

组 织 和 人 (3 ) 必要 时 ， 测 试 架构 师 对 测试 工程 师 进行 测试 设计 一 对 一 

的 辅导 


(1 ) 定期 跟踪 工具 购买 进展 ; 
x x 测试 工具 不 具备 ， 需 要 购买 (2 ) 寻找 是 否 有 替代 工具 
x x 特性 在 基线 版 本 中 就 存在 | 对 基线 版 本 该 特性 的 缺陷 进行 分 析 ， 分 析 哪 些 测试 手段 容易 
很 多 bug 发 现 该 特性 的 问题 ， 据 此 增加 探索 式 测试 


基线 版 本 中 ， 开 发 人 员 修改 引入 
缺陷 导致 缺陷 趋势 无 法 收 伍 ， 对 测 | ”对 基线 版 本 中 开发 人 员 修改 引 入 缺陷 的 问题 进行 根 因 分 析 ， 
试 进度 和 产品 发 布 造成 了 影响 ， 在 | 针对 根 因 来 制订 措施 

继承 性 版 本 中 可 能 存在 相同 的 风险 


需求 类 的 风险 





产品 设计 得 过 于 复杂 ， 难 以 理解 






设计 类 的 风险 








历史 类 的 风险 






6.7.3 老 功 能 分 析 


很 多 时 候 ， 我 们 的 被 测 对 象 并 不 是 全 新 开 友 的 功能 ， 而 是 在 之 前 版 本 上 已 经 测试 过 
的 老 功 能 。 对 一 个 新 开 发 的 版 本 来 说 ， 老 功能 和 新 功能 的 质量 要 求 可 能 是 相同 的 。 
如 果 我 们 需要 基于 质量 要 求 来 制定 测试 策略 ， 那 么 在 测试 的 时 候 ， 老 功能 和 新 功能 
的 测试 投入 融 应 该 是 一 样 的 。 


但 是 ， 事 实 上 老 功 能 已 经 做 测试 过 ， 老 功能 和 新 功能 的 质量 起 点 是 不 同 的 。 执 行 16 
个 新 功能 的 测试 用 例 和 执行 16 个 老 功 能 的 测试 用 例 相 比 ， 前 者 更 容易 友 现 问题 ， 失 
效 的 风险 更 大 。 


此 外 ， 老 功能 的 测试 用 例 ， 如 果 在 之 前 测试 的 时 候 没有 上 友 现 问题 ， 想 在 新 版 本 上 友 
现 问题 的 可 能 性 并 不 高 ( 注意 , 是 “不 高 ”， 不 是 “绝对 没有 ” ) 。 

可 见 ， 更 明智 的 做 法 是 对 老 功 能 进行 风险 分 析 ， 以 此 来 确定 老 功 能 在 新 版 本 中 的 测 
试 深度 和 测试 广度 ， 制 定 “ 刚 刚好 ”的 测试 策略 。 

对 老 功 能 进行 风险 分 析 就 是 老 功能 分 析 。 我 们 可 以 从 差异 性 分 析 和 历史 测试 情况 分 
析 两 方面 来 进行 分 析 ， 如 图 6-29 所 示 。 


关 功 能 分 析 





历史 测试 情况 分 析 


图 6-29 老 功能 分 析 的 两 个 方面 


1. 差 异性 分 析 


差异 性 分 析 是 指 找 出 老 功 能 在 新 版 本 和 老 版 本 上 的 差异 。 这 些 差异 包括 需求 、 设 
计 、 平 台 、 实 现 等 各 种 差异 。 “ 找 差异 ”也 是 在 新 版 本 中 做 好 老 功 能 测试 的 金 钥 


匙 。 
老 功 能 在 新 版 本 和 老 版 本 上 的 差异 举例 


: 老 功 能 在 老 版 本 上 的 性 能 要 求 是 需要 支持 每 秒 新 建 5 个 用 例 ， 在 新 版 本 上 要 求 支持 每 
秒 新 建 16 个 用 例 。 


: 老 功能 在 老 版 本 上 只 支持 Windows 7、Windows 8， 在 新 版 本 上 要 文 持 ISO0 和 安 晶 系 
统 。 


- 老 功能 人 在 新 版 本 上 重新 进行 了 设计 ， 做 了 重 构 。 
- 老 功能 改 由 平台 提供 相 天 功能 。 


很 多 测试 团队 会 要 求 开 友 提 供 产 品 的 老 功 能 的 改动 说 明和 测试 建议 ， 这 是 获得 老 功 
能 在 新 版 本 上 差异 的 好 办 法 ， 但 它 却 不 息 么 有 效 一 一 根据 我 的 访谈 来 看 ， 大 多 数 测 
试 团队 对 开 友 提供 的 改动 说 明和 测试 建议 不 满意 ， 它 们 不 是 摘 述 篇 统 ， 束 是 细 到 几 
乎 罗列 出 所 有 修改 了 的 函数 名 ， 无 法 起 到 很 好 的 测试 指导 作用 。 





有 的 测试 团队 会 从 设计 文档 中 来 收集 差异 ， 这 也 是 个 获得 差异 的 不 错 途 径 ， 但 是 它 
也 不 是 那么 有 效 一 一 很 多 开 友 团队 不 会 再 对 老 功 能 写 设计 文档 ， 而 且 文 档 也 存在 更 


新 的 问题 。 





如 果 你 遇 到 的 窘 况 和 上 面 质 述 的 一 样 ， 我 建议 你 可 以 坛 着 和 开 上 友人 员 面 对 面 地 沟通 
一 一 面对面 沟通 的 效率 和 效果 可 能 会 超 平 你 的 想象 。 


当然 ， 为 了 让 沟通 更 有 针对 性 、 更 有 效 ， 事 乞 准备 一 个 沟通 提纲 是 绝对 有 必要 的 。 
下 面 是 一 个 “ 卷 异 性 分 析 沟 通 提纲 ”的 示例 ， 供 大 家 参考 ( 表 6-26 ) 。 


表 6- 26 差异 性 分 析 沟 通 提纲 示例 


差异 性 分 析 沟 通 提纲 记录 

和 之 前 相 比 ， 产 品 的 “底层 ”或 一 些 “ 公 共 模 块 ”是 否 有 修改 ? 为 什么 要 进行 修改 ?修改 的 代码 量 有 多 
大 ? 据 你 所 知 ， 这 些 修改 可 能 会 影响 哪些 功能 ? 

和 之 前 相 比 ，”x x 功能 ”是 否 进 行 了 功能 、 性 能 、 可 靠 性 、 可 维护 性 、 易 用 性 、 可 移植 性 、 可 维护 性 方 
面 的 优化 ? 为 什么 要 进行 优化 ?修改 的 代码 量 有 和 多大? 这 些 修改 会 影响 其 他 功能 四 ? 

和 之 前 相 比 ， 和 “ x x 功能 ”相关 的 开源 代码 是 否 进行 了 版 本 升级 ? 

和 之 前 相 比 ,“x x 功能 ”的 流程 是 否 有 所 变化 ?变化 有 是 哪些 ? 

和 之 前 相 比 ， 新 版 本 在 资源 分 配 (如 内 存 、CPU 的 分 配 ) 上 有 什么 不 同 ， 是 否 会 对 “ x x 功能 ”造成 影响 ? 

针对 修改 ,你 (开发 ) 准备 做 哪些 自 测 (或 已 经 做 了 哪些 自 测 ) ? 

有 没有 我 (测试 ) 需要 特别 关注 的 地 方 ? 























这 样 的 沟通 活动 持续 一 段 时 间 后 ， 我 们 还 会 友 现 它 还 会 市 来 一 些 意 想不到 的 “ 正 作 
用 ” : 开 友 提供 的 “修改 况 明 ”和 “测试 建议 ”逐渐 变 得 有 用 ， 开 友人 员 和 测试 人 
员 之 间 变 得 更 有 默契 。 


2 .历史 测试 情况 分 析 


历史 测试 情况 分 析 是 对 老 功 能 在 老 版 本 中 的 测试 情况 ( 包括 测试 策略 、 测 试用 例 、 
缺陷 ) 进行 分 析 ， 以 此 来 确定 老 功 能 在 新 版 本 中 需要 来 用 怎样 的 测试 策略 。 


我 们 可 以 按照 如 图 6-36 所 示 的 思路 来 对 老 功 能 的 历史 测试 情况 进行 分 析 。 


测试 用 例 分 析 


测试 方法 分 析 





旺 陷 分 析 
图 6-36 老 功 能 的 历史 测试 情况 
1 ) 确认 者 功能 在 新 版 本 和 者 版 本 中 的 质量 要 求 是 否 一 致 


需要 我 们 特别 注意 的 情况 是 ， 老 功能 在 老 版 本 中 的 质量 要 求 比较 低 ， 例 如 融 是 给 用 
户 演示 的 功能 ， 但 是 在 新 版 本 中 ， 我 们 对 它 的 质量 要 求 提 高 了 ， 提 高 到 要 完全 满足 
用 户 的 商用 。 

此 时 虽然 老 功能 在 之 前 的 版 本 中 融 测 试 过 ， 但 是 相对 较 低 的 质量 要 求 使 得 老 功 能 测 
试 场景 、 测 试 深度 等 都 还 远 远 不 够 。 这 时 我 们 需要 对 老 功 能 旧 的 测试 用 例 进行 分 
析 ， 确 定 在 新 版 本 测试 时 哪些 地 方 还 需要 增加 测试 用 例 ( 至 少 可 以 确定 大 致 的 工作 
量 ， 降 低 在 工作 时 估计 遗漏 此 部 分 工作 量 时 的 风险 ) 。 

2 ) 进行 测试 方法 分 析 

可 以 从 表 6-21 中 的 这 些 角 度 对 老 功能 进行 测试 方法 分 析 。 


表 6-21 分 析 角 度 


序号 分 析 点 
1 进行 功能 、 可 靠 性 、 性 能 、 易 用 性 、 可 维护 性 等 测试 时 使 用 了 哪些 测试 方法 ? 深度 如 何 ? 是 否 达到 预期 ? 
2 测试 过 程 中 使 用 了 哪些 测试 工具 ? 使 用 情况 如 何 ? 


3 是 否 进行 了 探索 性 测试 ?效果 如 何 ? 
4 回归 测试 情况 如 何 ? 
5 场景 测试 情况 如 何 ? 


6 自动 化 测试 情况 如 何 ? 


我 们 可 以 使 用 6.6 节 中 提供 的 缺陷 分 析 方 法 ， 围 绕 表 6-22 中 的 分 析 点 ， 来 对 老 功能 
的 历史 缺陷 进行 分 析 。 


表 6-22 老 功 能 历史 缺陷 分 析 点 


序号 分 析 点 
1 老 功 能 在 老 版 本 中 存在 哪些 遗留 缺陷 ? 缺陷 被 遗留 的 原因 是 什么 ?哪些 遗留 缺陷 必须 在 新 版 本 中 解决 ? 


老 功能 在 老 版 本 中 发 现 缺 陷 的 数量 是 否 符合 预期 ?如 果 不 符合 预期 ， 分 析 可 能 的 原因 。 对 此 ， 是 否 需要 在 
新 版 本 中 增加 一 些 测试 内 容 ? 
3 老 功 能 在 老 版 本 中 发 现 缺 陷 的 手段 是 否 丰富 ? 哪些 手段 需要 在 “新 版 本 ”中 加 强 ? 
从 老 功 能 在 老 版 本 中 发 现 的 缺陷 来 看 ， 是 否 存在 测试 策略 漏 测 、 测 试 设计 漏 测 和 测试 执行 漏 测 ? 是 否 需 要 
在 新 版 本 中 增加 相应 的 内 容 ? 


4 ) 对 “组 织 和 人 ”进行 分 析 
如 果 老 功能 是 其 他 测试 团队 测试 的 ， 对 这 个 测试 团队 的 情况 进行 分 析 也 是 非常 有 必 
要 的 ( 表 6-23 ) 。 
表 6-23 测试 团队 分 析 
序号 分 析 点 
1 测试 团队 人 员 经 验 如 何 ? 


2 测试 团队 是 否 稳定 ? 例如 ， 是否 在 测试 过 程 中 出 现 人 员 离 职 、 被 动 更 换 测试 人 员 的 情况 ? 
3 测试 团队 是 否 有 一 些 测试 总 结 或 技术 总 结 ? 如 果 有 ， 这 些 总 结 一 定 要 收集 过 来 ， 会 是 很 好 的 参考 材料 


6.8 分 层 测试 技术 


我 们 将 分 层 测试 运用 在 测试 目标 的 SMART 化 上 和 测试 活动 的 安排 上 。 对 软件 测试 架构 
师 而 言 ， 可 能 需要 根据 实际 情况 来 设计 自己 项 目的 分 层 测试 ， 分 层 测 试 中 的 主要 技 
术 ， 束 是 如 何 通 过 适当 的 分 层 ， 让 测试 目标 变 得 “SMART”。 为 了 能 够 很 好 地 说 明 这 
个 问题 ， 我 们 先 来 看 几 个 例子 。 


6.8.1 V 模 型 


最 经 典 的 测试 分 层 ， 就 是 V 模 型 一 一 准确 地 说 应 该 是 “Vv 模 型 ”和 测试 相关 的 “ 右 
”部 分 ， 被 分 为 单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 4 个 层次 ， 如 图 6-31 所 
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图 6-31 V 模 型 


对 V 模 型 而 言 ， 每 个 测试 分 层 测 试图 测试 的 重点 为 : 


单元 测试 : 从 产品 实现 的 函数 单元 的 角度 ， 验 证 阔 数 单元 是 否 正 确 。 
集成 测试 : 从 产品 模块 和 功能 的 角度 ， 验 证 功能 模块 和 模块 乙 间 的 接口 是 否 正 确 。 


系统 测试 : 从 系统 的 角度 ， 验 证 功能 是 否 正确 ， 验 证 系统 的 非 功能 属性 是 否 能 够 满 
足 用 户 的 需求 


-验收 测试 : 从 用 户 的 角度 ， 确 认 产 品 是 否 能 够 满足 用 户 的 业务 需求 。 
在 第 7 章 ， 我 还 将 为 大 家 介绍 每 个 测试 分 层 的 测试 策略 。 
要 想 分 层 测 试 有 效 ， 根 据 产品 的 实际 特点 来 设计 测试 层次 非常 重要 ，。 


和 所 有 设计 一 样 ， 测 试 层 次 的 设计 也 没有 一 定 的 定式 可 言 ， 但 是 有 一 条 基本 原则 可 
以 为 我 们 提供 指导 ， 融 是 使 得 每 个 测试 层次 中 的 测试 目标 都 是 “SMART” ( 具体 、 可 
衡量 、 可 获得 、 具 有 相 天 性 和 时 限 性 ) 化 的 。 


1. 某 通信 公司 的 测试 分 层 


某 通 信 公 司 的 测试 分 层 如 图 6-32 所 示 。 


验收 测试 


详细 设计 





图 6-32 某 通信 公司 的 测试 分 层 


和 IV 模型 相 比 ， 集 成 测试 在 本 例 中 被 分 成 了 MST 和 BBIT ; 系统 测试 被 分 成 了 SDV、SIT 
和 SVT。 


-模块 级 系统 测试 ( MST ) : 保证 软件 开发 项 目 组 各 个 单元 /模块 之 间 的 接口 正确 ， 以 
及 对 项 目 组 级 别 的 功能 进行 验证 。 


.Building Block Integrated Test ( BBIT ) : 验证 的 是 子 系统 之 间 的 单元 /模块 
的 接口 的 正确 性 ， 也 束 是 我 们 常 说 的 开发 “ 联 调 ”。 


:系统 设计 确认 ( SDV ) : 从 系统 的 角度 来 验证 功能 的 正确 性 。 
系统 集成 测试 ( SIT ) : 从 系统 的 角度 来 验证 功能 交互 和 非 功能 方面 的 正确 性 。 
系统 验证 测试 ( SVT ) : 验证 场景 、 解 决 方案 的 正确 性 。 


为 什么 此 处 的 “测试 分 层 ” 要 这 么 复杂 呢 ? 这 是 因为 在 这 个 例子 中 ， 被 测 对 象 是 通 


信 产 品 。 我 们 知道 ， 通信 产品 需要 包含 硬件 、 驱 动 和 软件 ， 业 务 也 比较 复杂 ， 还 会 
涉及 很 多 协议 和 规范 。 在 设计 上 弟弟 会 包含 多 个 子 系统 ， 涉 及 很 多 接口 。 用 户 不 仅 
天 注 功能 ， 还 特别 天 注 可 靠 性 、 性 能 等 方面 的 质量 ， 对 产品 质量 整体 要 求 很 高 。 


如 果 我 们 还 是 按照 前 面 经 典 的 V 模 型 中 的 测试 层次 进行 集成 测试 ， 我 们 可 能 会 在 功能 
模块 还 不 好 用 的 情况 下 束 开 始 进 行 “ 子 系统 ”的 集成 测试 ， 使 得 联 调 受阻 。 也 丈 是 
说 ， 这 时 集成 测试 的 测试 目标 是 不 够 SMART 的 。 


将 集成 测试 划 为 “MsST” 和 “BBIT” 两 个 层次 后 ， 可 以 让 我 们 在 “MST 层 ”重点 关注 
各 个 子 系统 内 部 的 功能 模块 的 正确 性 ; 在 “BBIT 层 ”重点 关注 “这 些 子 系统 能 不 能 
正确 对 接 上 ”这样 我 们 在 集成 阶段 的 测试 目标 就 变 得 足够 SMART 了 。 


如 果 我 们 还 是 按照 前 面 v 模 型 中 的 测试 层次 进行 系统 测试 ， 我 们 可 能 会 在 硬件 和 驱动 
还 不 稳定 的 情况 下 就 开始 进行 复杂 功能 、 性 能 、 稳 定性 等 方面 的 测试 ， 然 后 发 现 根 
本 惑 测试 不 下 去 ， 全 被 硬件 和 驱动 问题 “阻塞 ”了 ; 我 们 还 有 可 能 一 直 在 模拟 器 或 
虚拟 机 上 进行 测试 ， 导 致 和 硬件 相关 的 性 能 、 稳 定性 方面 的 问题 友 现 得 过 晚 。 

将 系统 测试 划分 为 “SDV” “SIT” 和 “SVT” 3 个 层次 后 ， 我 们 可 以 企 “SDV 层 ” ， 
在 真实 的 硬件 平台 上 验证 基本 功能 的 正确 性 ; 在 “SIT 层 ”， 在 硬件 和 驱动 相对 稳定 
的 情况 下 ， 进 行 复杂 功能 和 非 质量 属性 方面 的 测试 ; 在 “SVT 层 ”“， 再 进行 场景 、 解 
决 方案 方面 的 测试 。 经 过 这 样 的 划分 后 ， 我 们 在 系统 测试 阶段 的 测试 目标 也 变 得 
SMART 起 来 了 。 


2. 某 公司 在 敏捷 环境 下 的 测试 分 层 


某 公 司 在 敏捷 环境 下 的 测试 分 层 如 图 6-33 所 示 。 


功能 测试 探索 测试 


单元 测试 “| 非 功能 测试 





图 6- 33 某 公司 在 敏捷 环境 下 的 测试 分 层 

和 前 面 的 介绍 的 测试 分 层 相 比 ， 本 例 就 显得 简单 多 了 : 

单元 测试 ( UT test ) : 针对 代码 或 者 组 件 的 测试 。 

-功能 测试 (function test ) : 针对 产品 功能 方面 的 测试 。 

- 非 功能 测试 ( non-functional test ) : 指 非 功能 方面 的 其 他 质量 属性 的 测试 。 
-探索 测试 ( Explore test ) : 基于 任务 的 测试 。 


这 时 航 测 对 象 是 一 个 纯 软 件 产品 ， 根 据 用 户 的 业务 需求 进行 迭代 开 友 ， 但 总 体 来 说 
并 不 复杂 ， 基 本 不 涉及 协议 或 规范 。 用 户 比较 天 注 功能 、 易 用 性 和 性 能 ， 对 可 靠 性 
方面 的 问题 有 一 定 的 容忍 性 ， 忆 的 来 说 对 质量 的 整体 要 求 并 不 算 太 高 ， 希 望 产品 能 
够 快速 交付 。 


在 这 样 的 背景 下 ， 快 速 评 估 产 品 是 否 能 够 友 布 ， 进 行 快速 测试 是 有 必要 的 。 如 果 我 
们 还 是 按照 v 模 型 中 的 测试 分 层 来 进行 测试 ， 束 显得 太 重 了 。 人 在 这 个 测试 分 层 中 ,我 
们 在 单元 测试 层 中 测试 代码 、 接 口 的 质量 ; 提交 给 测试 后 ， 在 功能 测试 层 中 集中 测 
试 功能 ; 待 功能 相对 稳定 后 ， 在 非 功能 测试 层 中 再 集中 易 用 性 、 性 能 和 可 靠 性 等 方 
面 的 内 容 ; 在 探索 测试 层 ， 表 结合 缺陷 ， 进 行 补充 测试 和 回归 测试 。 


这 个 分 层 虽 然 很 简单 ， 但 它 每 个 层次 的 测试 目标 都 很 SMART， 且 能 够 满足 快速 测试 、 


快速 发 布 的 项 目 要 求 ， 是 一 个 符合 项 目 特点 的 测试 分 层 设计 。 
第 7 章 测试 策略 实战 攻略 


从 本 草 开 始 我 们 进行 测试 策略 的 实战 ， 看 看 如 何 运 用 我 们 在 第 6 章 中 介绍 的 思路 和 方 
法 来 制定 测试 策略 。 

假设 现在 有 一 个 研 友 项 目 A 开 始 了 ， 我 们 的 软件 测试 架构 师 也 要 投入 项 目 了 。 此 时 项 
目 产 品 的 包 需 求 已 经 基本 完成 ， 产 品 概念 已 经 初步 成 型 ， 如 图 7-1 所 示 。 


软件 测试 架构 师 开始 投入 项 目 





图 7-1 研发 项 目 A 示意 图 

不 过 此 时 软件 测试 架构 师 对 项 目的 了 解 还 非常 有 限 : 
-知道 项 目 叫 什 么 名 字 。 

项 目 大 致 要 做 些 什 么 内 容 。 


-领导 期 望 项 目 在 什么 时 候 结束 。 


下 面 就 让 我 们 来 看 看 ， 这 位 软件 测试 架构 师 将 如 何 运 用 我 们 在 第 6 章 中 介绍 的 思路 和 
方法 来 制定 测试 策略 ， 指 导 产 品 测试 ， 进 行 质量 评 信 。 


7.1 开始 


此 时 ， 软 件 测试 染 构 师 对 项 目的 了 解 还 非常 有 限 ， 在 制定 测试 策略 之 前 ， 收 集 了 解 
更 多 的 项 目 信 息 非常 重要 : 


:项 目的 范围 。 

:人 力 投 入 。 

:历史 情况 。 

7.2 初次 使 用 “四 步 测试 策略 制定 法 " 


当 我 们 收集 了 一 些 项 目 信 息 ， 对 项 目 有 一 定 的 了 解 后 ， 就 开始 准备 制定 测试 策略 
了 。 这 也 是 我 们 初次 在 项 目 中 使 用 “四 步 测试 策略 制定 法 ”， 如 图 7-2 所 示 。 


切 次 使 用 “四 步 测试 生 略 制定 法 ” 


计划 阶段 | 开发 阶段 | 验证 阶段 | 发 布 阶段 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 本 产品 开发 流程 


Step4: 进行 测试 分 层 





虽然 我 们 已 经 有 了 产品 质量 评估 模型 ， 但 该 模型 只 能 告诉 我 们 该 从 哪些 角度 去 评估 
产品 质量 ， 并 没有 告诉 我 们 ， 怎 样 的 评估 结果 可 以 被 认为 是 好 的 质量 ， 怎 样 的 结果 
又 是 不 好 的 质量 。 换 句 话 说 ， 我 们 还 缺少 一 个 评价 质量 的 “刻度 ”， 即 产品 质量 等 
级 。 


从 最 终 用 户 使 用 的 角度 ， 我 们 将 产品 质量 分 为 如 下 4 个 等 级 。 


第 1 级 完全 商用 : 特性 完全 满足 用 户 的 需求 ,有 人 少量 ( 或 者 无 ) 遗留 问题 ， 用 户 使 用 
时 无 任何 限制 。 


第 2 级 受 限 商用 : 特性 无 法 满足 用 户 的 某 些 特 定 场景 ， 有 普通 以 上 的 遗留 问题 ， 但 有 
规避 措施 。 

第 3 级 测试 、 演 示 或 小 范围 试用 : 特性 只 能 满足 用 户 部 分 需求 ,有 严重 以 上 的 遗留 问 
题 ， 且 无 有 效 的 规避 措施 ， 问 题 一 旦 出 现 就 会 影响 用 户 的 使 用 ， 只 能 用 于 测试 ( 如 
Beta ) 或 演示 ， 或 者 小 学 围 试用 。 

第 4 级 不 能 使 用 : 特性 无 法 满足 用 户 需 求 ， 存 在 严重 以 上 的 遗留 问题 ， 会 导致 用 户 基 
本 功能 失效 ， 且 无 规避 措施 ， 严 品 根本 无 法 使 用 。 


需要 特别 说 明 的 是 ， 产 品质 量 等 级 虽然 是 在 项 目 初期 确定 的 ， 但 定义 的 是 产品 在 友 
布 时 的 质量 ， 而 不 是 产品 在 测试 过 程 中 的 质量 ， 如 图 7- 3 所 示 。 


计划 阶段 | 开发 阶段 | 验证 阶段 | 发 布 阶段 





”入 

确定 的 产品 质量 目标 ，; 

是 指 产品 发 布 时 候 的 质 | 
量 目 标 





图 7-3 定义 产品 友 布 时 的 质量 
7.2.2 确定 项 目 中 各 个 特性 的 质量 等 级 


按照 四 步 测试 策略 制定 法 ， 我 们 先 围绕 明确 产品 质量 目标 来 展开 分 析 ， 如 图 7-4 所 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 配 产 品 开发 流程 





Step4: 进行 测试 分 层 
图 7-4 明确 产品 质量 目标 


此 时 ， 软 件 测试 架构 师 需 要 对 本 项 目 中 包含 的 特性 ， 逐 一 确定 它们 的 “产品 质量 等 
级 ” ( 表 7-1 ) 。 


需要 特别 说 明 的 是 : 
该 项 活动 能 够 顺利 进行 的 前 提 是 产品 的 特性 已 经 基本 确定 完成 了 。 


-这 项 活动 不 应 该 仪 由 软件 测试 以 构 师 来 进行 ， 需 要 需求 工程 师 、 研 友 经 理 等 研 友 核 
心 团队 共同 进行 ， 对 不 同 特性 的 产品 质量 等 级 能 够 达成 一 致 。 


表 7-1 确定 产品 质量 等 级 


特性 质量 目标 ( 期望值 ) 村 | 质量 目标 ( 期望值 ) 
特性 1 测试 、 演 示 或 小 范围 试用 
特性 2 完全 商用 











特性 3 受 限 商用 


7.2.3 对 项 目 整体 进行 风险 分 析 


按照 四 步 测试 策略 制定 法 ， 接 下 来 我 们 将 围绕 风险 来 展开 分 析 ， 如 图 7-5 所 示 。 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


step3: 适 配 产 品 开 发 流程 





Step4: 进行 测试 分 层 


图 7-5 围绕 风险 展开 分 析 
在 这 个 阶段 ， 软件 测试 架构 师 需要 从 项 目 整 体 角 度 进 行 风险 分 析 。 


此 时 ， 我们 可 以 按照 6.7.1 节 中 介绍 的 “风险 评估 清单 ”， 来 对 项 目 整体 进行 一 次 风 
险 评估 ， 并 参考 6.7.2 节 中 的 “风险 应 对 表 ” 来 考虑 应 对 措施 ， 增 加 一 些 质量 保证 活 
动 。 

在 确定 风险 应 对 措施 的 时 候 ， 需要 区 分 这 些 活动 是 针对 项 目 整体 的 ， 还 是 针对 具体 
特性 的 。 我 习惯 将 具体 特性 的 风险 ， 直 接 记录 在 产品 质量 等 级 表 中 备 忘 ( 表 7-2 ) 。 


特性 质量 目标 (期 望 值 ) 计划 的 质量 保证 活动 
ti 必 1 | 完全 商用 


特性 2 完全 商用 。 加 强 需 求 的 review 
。 加 强 对 系统 设计 的 review 


特性 4 测试 、 演 示 或 小 范围 试用 





7.2.4 确定 测试 策略 的 结构 


按照 四 步 测 试 策 略 制定 法 ， 接 下 来 我 们 将 围绕 产品 开发 流程 来 进行 分 析 ， 如 图 7-6 所 


全 J\。 


对 软件 测试 架构 师 来 说 ， 此 时 的 主要 目标 就 是 确定 测试 策略 的 结构 ， 明 确 我 们 的 测 
试 策略 要 分 几 次 输出 ， 何 时 输出 ， 每 次 输出 的 关注 点 是 什么 。 


根据 研发 流程 ， 我 们 采用 总 分 式 的 测试 策略 结构 ， 如 图 7-7 所 示 。 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 配 产 品 开发 流程 





Step4: 进行 测试 分 层 


图 7-6 围绕 产品 开发 流程 进行 分 析 


概念 阶段 | 计划 阶段 | 开发 阶段 | 验证 阶段 | 发 布 阶段 









、 | 需求 规格 
系统 设计 





Jo ee oe ee ee ee ee ee ee ee oe ee ee ee ee oe oe oe oe ee ee oe ee oe ee hie oe ee oe ee ee we 


开发 人 员 分 析 ! 设计 版 本 发 布 和 缺陷 修改 






总 体 测 试 | 阶段 测试 
末 略 


测试 执行 策略 


测试 人 员 


图 7-7 忆 分 式 的 测试 策略 结构 


: 忌 体 测试 策略 : 确定 产品 质量 目标 ， 进 行 项 目 整体 的 风险 识别 ， 从 产品 层面 来 确定 
测试 重点 和 测试 难点 、 测 试 深度 和 测试 广度 ， 是 测试 策略 的 思 纲 。 


:阶段 测试 策略 : 确定 测试 设计 策略 和 测试 执行 策略 需要 达到 的 质量 目标 ( 产品 质量 
目标 的 分 解 ) 以 及 能 够 进行 这 些 测 试 活动 的 入 口 条 件 。 


:测试 执行 策略 : 确定 每 个 版 本 的 测试 目标 、 测 试 内 容 和 每 个 版 本 的 入 口 条 件 。 


忌 体 测试 策略 从 概念 阶段 开始 ， 在 计划 阶段 前 期 完成 比较 合适 。 因 为 这 时 产品 的 需 
求 、 质 量 目标 和 整体 形态 都 已 经 确定 下 来 ， 已 具备 了 制定 总 体 测试 策略 的 条 件 ， 而 
且 也 需要 这 样 一 份 文档 来 忌 领 后 面 的 测试 活动 ， 让 测试 团队 成 员 心 中 有 数 。 


阶段 测试 策略 在 忌 体 测试 策略 完成 后 随即 展开 ， 保 证 在 开 友 阶段 前 期 完成 。 这 是 因 
为 ， 阶 段 测试 策略 最 重要 的 目的 ， 束 是 明确 各 个 阶段 的 输入 输出 标准 。 在 开 友 编码 
之 前 ( 或 在 前 期 ) 区 把 要 求 说 清楚 ， 可 以 让 开发 目标 更 明确 ， 更 有 利于 产品 质量 的 
是 高 。 测 试 也 可 以 根据 双方 达成 的 标准 ， 准 备 接收 测试 用 例 、 自 动 化 测试 环境 等 。 


如 果 阶 段 测 试 策略 输出 得 过 晚 ， 这 些 活动 可 能 就 会 来 不 及 进行 或 者 达 不 到 期 望 的 效 
果 。 

测试 执行 策略 在 测试 执行 阶段 ， 每 个 版 本 转 测试 之 前 输出 即 可 。 测 试 执行 策略 除了 
对 阶段 测试 目标 进一步 进行 分 解 到 每 个 版 本 的 粒度 ， 还 需要 根据 上 一 个 版 本 的 测试 
执行 情况 ， 对 测试 策略 进行 调整 。 


各 类 测试 策略 之 间 的 关系 如 图 7- 8 所 示 。 





总 体 测 试 策略 阶段 测试 策略 测试 执行 策略 
测试 设计 策略 B1 版 本 测试 策略 
测试 执行 策略 B2 版 本 测试 策略 





B3 版 本 测试 策略 


图 7-8 各 类 测试 策略 之 间 的 关系 
7.2.5 初步 确定 测试 分 层 


按照 四 步 测试 策略 制定 法 ， 接 下 来 我 们 将 进行 与 测试 分 层 相关 的 分 析 ， 如 图 7-9 所 


人 J\。 


Step1: 明确 产品 质量 目标 


Step2: 进行 风险 分 析 


Step3: 适 配 产 品 开发 流程 





Step4: 进行 测试 分 层 


图 7-9 围绕 测试 分 层 进 行 分 析 


对 软件 测试 架构 师 来 说 ， 此 时 我 们 可 以 结合 研发 流程 ， 来 初步 确定 一 个 测试 分 层 。 
假设 此 时 我 们 采取 经 典 v 模 型 中 的 测试 分 层 ， 然 后 将 测试 分 层 和 研发 流程 ， 以 及 测试 
策略 的 结构 放 在 一 张 图 上 ， 初步 将 三 者 的 对 应 关系 梳理 出 来 了 ， 如 图 7-16 所 示 。 


发 布 阶 段 
系统 工程 师 
开发 人 员 


测试 人 员 





图 7-16 测试 分 层 、 研 发 流程 和 测试 策略 结构 的 对 应 关系 


7.2.6 回顾 


人 至此， 我们 按照 四 步 测试 策略 制定 法 的 思路 ， 完 成 了 一 次 分 析 。 我 们 先 来 总 结 一 
到 目前 为 止 ， 软 件 测试 架构 师 取得 了 哪些 进展 : 


:明确 了 特性 的 质量 等 级 ， 并 且 和 各 个 研发 核心 团队 的 成 员 束 质量 目标 达成 一 致意 
见 。 


:从 项 目 整体 角度 进行 了 风险 分 析 ， 有 了 需要 做 哪些 质量 保证 活动 的 初步 计划 。 
确定 了 测试 策略 的 结构 为 忌 体 测试 策略 一 阶段 测试 策略 一 测试 执行 策略 。 


步 确定 了 测试 分 层 ， 并 且 梳 理 出 了 测试 分 层 、 研 发 流程 和 测试 策略 结构 的 对 应 关 
系 ， 初 步 建 六 了 一 个 测试 的 框 染 


我 们 把 上 述 进展 填 回 到 本 章 开头 的 图 中 ， 如 图 7-11 所 示 。 


和 初次 使 用 四 步 测试 策略 制定 法 


[step1 :明确 产品 质量 目标 + 质量 目标 期望值) 计划 的 质量 保证 活动 
I 完全 商 用 


开发 阶段 验证 阶段 发 布 阶段 


特 :全 商 。 加强 需 求 的 review 
Step2: 进行 风险 分 析 0 二 。 加强 对 系统 设计 的 review 


党 有 限 商 问 


总 体 测试 策略 | 阶段 测试 策略 | 测试 执行 策略 


Step4: 进行 测试 分 层 
单元 测试 | 集成 测试 | 系统 测试 | 验收 测试 





图 7-11 回填 后 的 示意 图 


次 实践 ， 我 们 友 现 只 使 用 一 次 四 步 测试 策略 制定 法 ， 是 无 法 得 到 最 终 的 测试 
策略 的 。 


首先 ， 这 和 项 目 所 处 的 阶段 有 关 。 一 些 和 测试 策略 制定 相关 的 、 必 要 的 、 重 要 的 信 
息 ， 只 有 到 项 目的 某 些 阶段 才 会 清晰 ， 所 以 我 们 需要 按照 测试 策略 的 结构 ， 在 项 目 
的 不 同 阶 段 多 次 使 用 四 步 测试 策略 制定 法 来 制定 测试 策略 ， 如 图 7-12 所 示 。 








概念 阶段 计划 阶段 开发 阶段 验证 阶段 发 布 阶段 



















系统 工程 师 | | | 
需求 规格 
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开发 人 员 i 


测试 人 员 测试 执行 策略 
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品 | Step3: 适 配 产 品 | | Step3: 适 配 产品 
开发 流程 | 开发 流程 











Step4: 进行 Step4: 进行 “| 川 Step4: 进行 
测试 分 层 测试 分 层 由 测试 分 层 
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图 7-12 多 次 使 用 四 步 测试 策略 制定 法 制定 测试 策略 


其 次 ， 四 步 测 试 策 略 制定 法 中 的 4 个 步骤 之 间 并 不 是 瀑布 式 的 单 向 关系 ， 而 是 全 网 状 
的 双向 关系 。 图 7-13 更 为 准确 地 表达 了 这 4 个 节点 之 间 的 关系 。 


电 ] 要 > vos 4 
产品 开发 流程 





7-13 4 个 节操 间 的 关系 


例如 ， 产 品质 量 目标 变 高 了 ， 对 此 我 们 可 能 会 增加 一 些 测试 分 层 ， 这 使 得 研发 流程 
也 友 生 变化 ,也 引入 了 新 的 风险 。 


所 以 我 们 在 使 用 四 步 测试 策略 制定 法 时 ， 友 现 进 行 到 某 个 步骤 进行 不 下 去 了 ， 可 以 
将 这 个 步骤 停 一 下 ， 进 行 下 一 个 步骤 ,然后 再 回 过 头 来 进行 这 个 没有 做 完 的 步骤 ， 
这 时 往往 会 有 新 的 收获 。 也 残 是 说， 在 制定 测试 荣 略 的 时 候 ， 我 们 可 能 需要 循环 使 
用 四 步 测 试 策略 制定 法 或 循环 使 用 其 中 的 某 些 步 又 。 


回 到 我 们 的 模拟 实战 项 目 中 。 现 在 ， 软 件 测试 染 构 师 需要 输出 忠 体 测试 策略 。 显 然 
第 一 次 使 用 四 步 测试 策略 制定 法 得 到 的 内 容 ， 还 不 足以 支持 软件 测试 架构 师 完 成 忌 
体 测试 策略 的 制定 。 接 下 来 ， 束 要 循环 使 用 四 步 测 试 策 略 制定 法 ， 来 完成 我 们 思 体 
测试 策略 的 输出 。 


7.3 制定 总 体 测 试 策略 


接 下 来 我 们 将 在 之 前 分 析 的 基础 之 上 ， 再 次 使 用 四 步 测试 策略 制定 法 来 制定 总 体 测 


试 策略 ， 如 图 7-14 所 示 。 


制定 总 体 测试 策略 
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图 7-14 制定 总 体 测试 策略 
7.3.1 分 解 产品 质量 目标 


我 们 可 以 对 质量 等 级 再 进行 分 解 ， 整 体 思 路 如 图 7-15 所 示 。 


按照 质量 量 评 佑 模 型 ! 产品 质 星 产品 质 星 完 a 商用 部 分 商用 测试 、 演 示 或 
确定 质量 评估 项 ! 评估 模型 评估 项 目 (目标 ) (目标 ) | 小 范围 试用 (目标 ) 
测试 覆盖 度 | | 
pe 需求 覆 善 度 
确定 每 项 在 不 同 | 。 [一 一 下 友 生活 
em | TT 1 TT ”| 


根据 测试 分 层 确 定 每 个 
阶段 要 达到 的 小 目标 


完全 商用 (目标 ) 部 分 商用 (目标 ) at | 目标 ) 


产品 质量 


评估 项 目 


lm 
9 





图 7-15 分 解 质量 等 级 
1 .根据 质量 等 级 来 分 解 产 品 的 质量 目标 


我 们 可 以 根据 之 前 确定 的 产品 质量 等 级 ， 来 为 产品 质量 评估 模型 中 的 项 目 建立 不 同 
的 质量 标准 ， 从 而 达到 分 解 产品 质量 目标 的 目的 。 


产品 质量 评估 模型 中 的 项 目 包含 定 量 指标 和 定性 分 析 两 种 属性 。 对 模型 中 的 定量 指 
标 ， 我 们 可 以 根据 项 目的 实际 情况 、 历 史 情 况 和 公司 整体 基线 ， 确 定 出 一 个 分 级 的 
标准 ， 作 为 产品 质量 目标 的 分 解 项 ， 见 表 7-3 ( 注 : 表 中 数据 仅 供 参考 ) 。 


表 7-3 定量 指标 分 级 标准 


产品 质量 评估 模型 at 二 完全 商用 ( 目标 )| 部 分 商用 ( 目标 )| 测试 、 演 示 或 小 范围 试用 ( 目标) 


100% 
不 涉及 
85% 


测试 覆盖 度 


60% 


测试 过 程 
80% 





测试 用 例 和 非 测试 | 
: : < 水 到 
用 例 发 现 缺陷 比 不 涉及 


决 陀 缺陷 密度 15/ 千 行 代码 10/ 千 行 代码 不 涉及 
PE 
缺陷 修复 率 > 85% > 75% 


注 : 1.“ 不 涉及 ” 指 该 项 目 可 以 不 予 关 注 ; 








2. 可 以 根据 项 目 和 产品 的 实际 情况 选择 部 分 分 析 项 。 


在 上 一 节 中 ， 我 们 是 根据 不 同 的 特性 来 确定 的 产品 质量 等 级 ， 同 理 ， 本 节 摘 述 的 对 
象 也 应 该 是 特性 。 但 是 在 实际 操作 的 时 候 ， 软 件 测试 染 构 师 不 必 对 每 个 特性 ， 都 输 
出 一 个 质量 目标 分 解 表 ， 而 是 在 “特性 一 质量 等 级 ” 表 中 加 入 一 个 超 链 接 即 可 ( 表 


7-4) 。 


表 7-4 特性 一 质量 等 级 表 


特性 质量 目标 (期望值 ) 目标 分 解 (期 望 值 ) 计划 的 质量 保证 活动 


测试 覆 关 度 


特性 1 完全 商用 测试 过 程 
缺陷 
测试 覆 善 度 Pe” 
i tn (1 ) 加 强 需 求 的 review: 
特性 2 完全 商用 测试 过 程 


(2 ) 加 强 对 系统 设计 的 review 


缺陷 


测试 覆盖 度 
特性 3 受 限 商用 测试 过 程 

缺陷 

测试 覆盖 度 
特性 4 测试 、 演 示 或 小 范围 试用 测试 过 各 

缺陷 





2 .为 每 个 测试 分 层 确定 测试 目标 


接 下 来 我 们 需要 根据 各 个 质量 等 级 的 质量 目标 ， 再 确定 每 个 测试 分 层 需要 达到 的 质 
量 目 标 。 以 “完全 商用 ”为 例 ， 见 表 7-5。 


表 7-5 完全 商用 示例 表 


完全 商用 ( 目标 ) 完全 商用 ( 目标 ) 完全 商用 (目标 ) 
2 口 = 型 | f= JIL 
产品 质量 评估 模 产品 质量 评估 项 目 集成 测试 阶段 结束 系统 测试 阶段 结束 二 
100% 
测试 覆盖 度 
75% 
WN 100% (集成 测试 阶段 计划 100% (系统 测试 阶 皇 
测试 用 例 执行 率 100% 
测试 用 例 执行 率 | 完成 的 测试 用 例 ) 计划 完成 的 测试 用 合 ) 
“测试 用 例 首次 执 ee 
行 通过 率 
测试 过 程 RE 
测试 用 例 累积 执 > 950% 
行 通 过 率 
测试 用 例 和 非 测 | 
缺陷 密度 15/ 千 行 代码 
缺陷 


缺陷 修复 率 5 5 三 90% 





7.3.2 使 用 老 功 能 分 析 法 来 对 特性 进行 分 类 


在 现在 这 个 阶段 ， 开 上 友 还 没有 开始 对 特性 中 的 功能 进行 设计 ， 所 以 我 们 还 无 法 使 用 
老 功 能 分 析 法 来 对 每 个 功能 特性 进行 详细 的 分 析 ， 但 是 我 们 已 经 基本 能 够 知道 : 


-哪些 特性 是 新 开 友 的 。 

-哪些 是 从 老 版 本 上 继承 而 来 的 。 

-哪些 特性 的 改动 估计 会 比较 大 。 

:从 老 版 本 继承 而 来 的 特性 的 历史 测试 情 


这 时 ， 软 件 测试 染 构 师 可 以 根据 项 目的 实际 情况 ， 考 虑 上 述 几 个 方面 ， 来 将 被 测 对 
象 做 一 下 分 类 ， 并 对 每 一 类 确定 一 个 测试 策略 。 事 实 上 ， 这 个 分 类 并 无 标准 答案 可 
言 ， 项 目的 实际 情况 不 同 ， 分 类 束 会 不 同 ， 而 且 “ 分 类 名 ”也 是 自己 取 、 目 己 定义 
的 。 表 7-6 是 一 个 例子 ， 供 大 家 参考 。 


表 7-6 示例 
分 类 测试 策略 
全 新 特性 全 新 开发 的 功能 特性 全 面 测试 


`， 老 特性 对 用 户 可 见 的 接口 (如 UI) 发 生 了 | (1) 对 发 生 了 变化 的 部 分 进行 全 面 测 试 ; 
(2 ) 分 析 变 化 部 分 对 老 功 能 的 影响 ， 针 
， 是 指 功能 的 修改 、 性 能 规格 的 提高 等 对 影响 进行 回归 测试 、 探 索 式 测试 
对 外 ， 老 特性 对 用 户 可 见 的 接口 (如 UI) 并 没有 发 a eh 
牛 恋 化; 人 | 0) 分 析 加 强 部 分 对 老 功 能 的 影响 ， 针 
老 特 性 加 强 A a 、 _ ，| 对 影响 进行 回归 测试 、 探 索 式 测试 ; 
本 对 内 ， 是 指 功能 的 重 构 (包括 功能 依赖 的 中 间 展 .| 《> ) 全 panepe pit 
i ee pi ZZ) 这 人 和 们 入 丰 性 力 J ln 
底层 发 生 了 变化 )、 稳 定性 方面 的 提升 等 . 
老 特性 对 内 对 外 都 没有 任何 改变 回归 测试 + 探索 式 测试 





软件 测试 架构 师 可 以 把 刚刚 制定 出 来 的 分 类 继续 刷新 到 “特性 一 质量 等 级 ” 表 中 ， 
见 表 7-7。 当 然 我 们 还 可 以 顺便 再 刷 一 下 风险 ， 更 新 一 下 “计划 的 质量 保证 活动 ”。 


表 7-7 刷新 后 的 特性 一 质量 等 级 表 
特性 质量 目标 (期望值 ) ”| 目标 分 解 (期 望 值 ) 计划 的 质量 保证 活动 分 类 





测试 覆 兰 度 

特性 1 完全 商用 测试 过 程 需要 更 新 之 前 的 测试 设计 老 特性 变化 
缺陷 
测试 黎 兰 度 (1 ) 加强 需 求 的 review; 

特性 2 ”| 完全 商用 测试 过 程 a 全 新 特性 
re (2 ) 加 强 对 系统 设计 的 review 
缺陷 
测试 覆盖 度 

特性 3 受 限 商 用 测试 过 程 区 特性 加 强 





缺陷 


特性 质量 目标 (期望值 目标 分 解 (期 望 值 ) 计划 的 质量 保证 活动 
测试 覆盖 度 

特性 4 | 测试 、 演 示 或 小 范围 试用 | ”测试 过 程 
缺陷 





7.3.3 基于 质量 和 风险 来 确定 测试 深度 与 测试 广度 

我 们 习惯 于 将 测试 深度 和 测试 广度 放 在 一 起 来 说 ， 使 得 很 多 朋友 对 这 两 个 概念 产生 
了 混淆 ， 党 得 这 两 者 说 的 差不多 是 同一 个 意思 。 事 实 上 ，“ 测 试 深度 ”和 “测试 广 
度 ” 虽 然 都 是 用 于 拉 述 测试 策略 的 ， 但 确实 是 两 个 完全 不 同 的 概念 : 

:测试 深度 是 指 在 测试 过 程 中 需要 使 用 的 测试 方法 。 

:测试 广度 是 指 测 试 的 范围 。 

例如 ， 特 性 A 包含 了 三 条 需求 ， 每 个 需求 又 对 应 了 两 条 用 例 。 测 试 广度 束 是 指 这 三 条 
需求 以 及 这 三 条 需求 对 应 的 六 条 用 例 。 而 测试 深度 是 措 我 们 会 用 怎样 的 测试 方法 来 


测试 验证 这 三 条 需求 和 六 条 用 例 ， 如 图 7-16 所 示 。 ( 注意 : 这 里 的 用 例 是 指 user 
case, 可 以 理解 为 需求 的 细 化 ， 而 非 测 试用 例 。 ) 


< 广度 一 一 一 


功能 测试 法 

。 单 运行 正常 值 输 0 
e。 单 运行 边界 值 输入 

e。 多 运行 顺序 执行 法 
。 多 运行 相互 作用 法 
可 徘 性 测试 法 

。 寞 常 值 输入 法 

。 故障 植 人 法 

。 稳定 性 测试 法 

e。 压力 测试 法 

® 恢 复 测 试 法 

另 用 性 测试 法 

。 一致 性 测试 法 

。 可 用 性 测试 法 
性 能 测试 法 

可 移植 性 测试 法 

可 维护 性 测试 法 





图 7-16 测试 深度 


对 软件 测试 架构 师 来 说 ， 需 要 基于 质量 和 风险 ( 这 里 的 风险 因素 主要 是 指 前 面 老 功 
能 分 析 的 结论 ) 来 为 各 个 特性 确定 它们 的 测试 深度 和 测试 广度 。 


1. 使 用 产品 质量 评估 模型 来 初步 确定 测试 深度 


我 们 使 用 产品 质量 评估 模型 中 的 测试 过 程 一 测试 方法 项 ， 基 于 不 同 的 质量 要 求 ， 来 
确定 测试 深度 ， 见 表 7-8 ( 注 : 表 中 内 容 仪 供 参考 ) 。 


表 7-8 确定 测试 深度 


产品 质量 | 产品 质量 本 Sr _ 测试 、 演 示 或 小 范 
评估 维度 | 评估 项 目 用 (目标 部 分 商用 (目标 ) 围 试用 (目标 ) 
测试 各 | | 


而 加 起 :能 、 靠 性 只 需要 功能 测 
奇 要 使 用 功能 、 性 能 、 可 靠 性 方法 ， 可 告 性 中 故障 植 人 法 和 稳 厅 要 使 用 功能 测 


和 易 用 性 中 所 有 的 测试 方法 定性 测试 六 试 方 法 即 可 
丰 导 测 二 1 友 


需要 使 用 能 测试 的 所 有 测试 


测试 方法 





过 前 面 的 分 析 我 们 已 经 了 解 到 ， 仪 靠 产 品质 量 评估 模型 得 到 的 测试 深度 ， 只 适用 
于 全 新 特性 。 我 们 还 需要 结合 前 面 的 老 功 能 分 析 ， 对 测试 深度 进行 调整 


2 .考虑 用 老 功 能 分 析 来 更 新 测试 深度 


我 们 再 根据 前 面 老 功能 分 析 中 的 测试 策略 ， 更 新 老 功 能 中 的 测试 深度 ( 可 以 考虑 先 
标记 出 需要 调整 的 地 方 ) ， 见 表 7-9。 


表 7-9 更 新 老 功 能 中 的 测试 深度 


全 新 特性 全 新 开发 的 功能 特性 
对 外 ， 老 特性 对 用 户 可 见 的 接 
口 (如 UI) 发 生 了 变化 ; 

生 观 , 
老 特性 变化 对 内 ， 是 指 功 能 的 修改 、 性 能 
规格 的 提高 等 

对 外 ， 老 特性 对 用 户 可 见 的 接 
口 (如 UI) 并 没有 发 生变 化 ; 
老 特 性 加 强 对 内 ， 是 指 功 能 的 重 构 (包括 
功能 依赖 的 中 间 层 、 底 层 发 生 了 
变化 )、 稳 定性 方面 的 提升 等 
老 特性 无 变化 老 特性 对 内 对 外 都 没有 任何 改变 


然后 再 将 测试 深度 继 给 


表 7-16 添加 测试 深度 后 的 特性 一 质量 

















质量 目标 
(期 望 值 ) 


目标 分 解 

(期 望 
测试 覆 关 上 
测试 过 各 
缺陷 
测试 覆盖 度 
测试 过 程 
缺陷 
测试 覆 兰 度 
测试 过 程 


) 加 强 需 求 的 review:; 
RN 全 新 特性 


强 对 系统 设计 的 review 


完全 商用 


2 ) 加 


受 限 商用 


和 覆盖 度 
测试 过 程 
缺陷 


测试 、 演 示 


特性 4 或 小 范围 试用 





卖 添加 到 前 面 的 “特性 一 质量 等 


需要 更 新 之 前 的 测试 设计 


测试 深度 
a 和 表 7-8 中 的 测试 深度 
nh 的 定义 保持 一 臻 
(1 ) 对 发 生 了 变化 的 部 分 进行 全 面 
和 
) 分 析 变 化 部 分 对 老 功 能 的 影响 ， 
旨 进 行 回归 测试 、 探 索 式 测试 


和 表 7-8 中 的 测试 深度 
的 定义 保持 一 致 
ee 


使 用 功能 测试 的 所 有 测 
试 方法 ， 可 靠 性 中 故障 植 
入 法 和 稳定 性 测试 法 ， 不 
再 按照 质量 等 级 进行 划分 


(1 ) 分 析 加 强 部 分 对 老 功 能 的 影响 ， 
针对 影响 进行 回归 测试 、 探 索 式 测试 ; 
(2 ) 进行 稳定 性 方面 的 测试 


只 使 用 功能 测试 中 的 单 
运行 顺序 执行 法 ， 不 再 按 
照 质量 等 级 进行 划分 


回归 测试 + 探索 式 测 试 


豚 ” 表 中 ( 表 7-16 ) 。 


等 级 表 (一 ) 


测试 深度 







需要 使 用 功能 、 性 能 、 
可 靠 性 和 易 用 性 中 所 有 的 测 
试 方法 
需要 使 用 功能 、 性 能 、 
可 靠 性 和 易 用 性 中 所 有 的 测 
试 方法 

使 用 功能 测试 的 所 有 测 
试 方法 ， 可 靠 性 中 故障 植 人 
法 和 稳定 性 测试 法 


老 特 性 变化 






老 特 性 加 强 


只 需要 使 用 功能 测试 方 


全 新 特性 | 法 即 可 


3. 基 于 老 功 能 分 析 来 初步 确定 测试 广度 


从 产品 质量 评估 模型 的 角度 来 说 ， 


无 论 产 


还 是 低 ， 我 们 都 希望 在 


, 


品 的 质量 要 求 是 遍 


测试 中 能 够 对 需求 进行 186% 的 覆盖 ， 相 应 的 所 有 测试 广度 都 应 该 是 166% 获 头 。 


但 实际 上 ， 对 一 些 老 特性 ， 特别 是 那些 在 新 版 本 中 没有 改动 ， 并 且 历 史 测 试 情况 也 
不 错 的 特性 ， 我 们 可 以 考虑 缩小 测试 范围 ， 少 测 或 者 不 测 。 不 过 毕竟 现在 我 们 还 处 
于 项 目的 概念 或 计划 阶段 初期 ， 还 没有 进行 详细 的 老 功能 分 析 ， 但 这 时 我 们 还 是 可 
以 初步 分 析出 一 些 可 以 缩小 测试 范围 的 特性 。 


分 析 完 成 后 ， 我 们 继续 将 测试 广度 添加 到 前 面 的 “特性 一 质量 等 级 ” 表 中 ( 表 7- 
11 ) 。 


表 7-11 添加 测试 深度 后 的 特性 一 质量 等 级 表 ( 二 ) 


质量 目标 | 目标 分 解 计划 的 质量 测试 广度 
类 测试 深度 


( 

测试 覆盖 度 需要 使 用 功能 、 性 能 、 

特性 1 完全 商用 | 测试 过 程 需要 更 新 之 前 的 测试 设计 | 老 特 性 变化 | 可 靠 性 和 易 用 性 中 所 有 的 | 全 面 测 试 

缺陷 测试 方法 

测试 覆盖 度 | (1 ) 加 强 需求 的 review; 需要 使 用 功能 、 人 性 能 、 

测试 过 程 (2 ) 加 强 对 系统 设计 的 | 全 新 特性 可 靠 性 和 易 用 性 中 所 有 的 | 全面 测试 

缺陷 review 测试 方法 

测试 覆盖 度 使 用 功能 测试 的 所 有 测 

受 限 商用 | 测试 过 程 老 特性 加 强 | 试 方法 ， 可 靠 性 中 故障 植 | 部 分 测试 
缺陷 入 法 和 稳定 性 测试 法 


质量 目标 | 目标 分 解 计划 的 质量 
(期 望 值 ) | (期 望 值 ) 保证 活动 
| 


测试 、 演 | 测试 覆盖 度 
















只 需要 使 用 功能 测试 方 
法 即 可 


7.3.4 确定 测试 优先 级 


接 下 来 软件 测试 染 构 师 可 以 根据 质量 目标 和 分 类 来 确定 测试 优先 级 。 基 本 原则 是 质 


量 等 级 越 高 ,优先 级 越 高 ; 在 相同 的 质量 等 级 下 ， 全 新 特性 比 老 特性 的 优先 级 高 ; 
改动 越 多 的 老 特性 ， 优 先 级 越 高 。 


确定 测试 优先 级 的 一 个 简单 的 方法 是 使 用 评分 表 。 我 们 首先 对 质量 目标 和 分 类 分 别 
设置 一 定 的 分 值 ， 见 表 7-12 和 表 7-13。 


表 7-12 质量 目标 分 值 表 


测试 、 演 示 或 小 范围 试用 


性 是 





在 这 里 ， 我 们 将 分 值 设计 为 质量 等 级 之 间 的 分 值 差 距 大 ， 分 类 之 间 的 分 值 差距 小 ， 
是 想 突 出 质量 等 级 在 优先 级 确定 中 比分 类 的 影响 更 大 ， 能 够 起 到 决定 性 的 作用 。 但 
是 这 里 的 分 值 设 置 也 只 是 举例 ， 你 可 以 根据 项 目的 实际 来 设置 更 为 合适 的 分 值 。 


然后 再 准备 一 张 优先 级 的 分 数 范围 表 ( 表 7-14 ) 。 


表 7-14 优先 级 的 分 数 范围 表 


优先 级 等 级 分 值 范围 (质量 等 级 + 分 类 的 分 值 和 ) 
高 de 
证 3 一 5 
低 52 


逐一 计算 每 个 特性 的 质量 等 级 + 分 类 的 分 值 和 ， 残 能 得 到 测试 的 优先 级 。 我 们 还 是 
继续 将 优先 级 添加 到 前 面 的 “特性 一 质量 等 级 ” 表 中 ， 见 表 7-15。 


表 7-15 添加 优先 级 后 的 特性 一 质量 等 级 表 


质量 目标 | 目标 分 解 计划 的 质量 测试 广度 
测试 深 


测 太志 得 这 | 需 要 人 使 用 功 f 能 、 性 能 、 
i 需要 更 新 之 前 4 
元 全 商用 测试 过 程 特性 区 局 可 靠 性 和 易 用 性 中 所 有 的 | 全 面 测试 


的 测试 设计 
缺陷 OE 测试 方法 


质量 目标 | 目标 分 解 | ”计划 的 质量 , 测试 广度 
= 乡 测 记 深度 s 
(期 望 值 ) | (期 望 值 ) | ”保证 活动 PO (初步 ) 
) 加 强 需求 


(1 RE 
测试 覆盖 度 需要 使 用 功能 、 性 能 、 


完全 商用 | 测试 过 程 | 外 YW; | 全 新 特性 “| 高 | 可 靠 性 和 吻 用 性 中 所 有 的 | 全面 测试 
2 ) 加 强 对 系 





Hr 


‘Ww 
*H 


( 
缺陷 Ma 测试 方法 
统 设 计 的 review 


浏 试 覆 盖 度 使 用 功能 测试 的 所 有 测 

受 限 商用 | 测试 过 各 老 特 性 加 强 坛 方法 ， 可 靠 性 中 故障 植 | 部 分 测试 
入 法 和 稳定 性 测试 法 

测试 、 演 | 测试 覆盖 度 | 
ek 向 只 需要 使 用 功能 测试 广 


示 或 小 范围 | 测试 过 程 全 新 特性 而 可 全 面 测试 
s 1AD 
二 缺陷 





确定 的 测试 优先 级 ， 将 主要 用 于 测试 投入 的 安排 上 。 我 们 可 以 根据 优先 级 的 等 级 ， 
制定 出 一 个 测试 投入 的 策略 ， 见 表 7-16。 


表 7-16 测试 投入 策略 


优先 级 等 级 测试 投入 策略 
(1 ) 中 级 或 中 级 以 上 的 测试 工程 师 ; 
高 (2 ) 保证 足够 的 测试 投入 工时 ; 

(3 ) 尽量 不 在 项 目 中 途 更 换 测 试 责任 人 

(1 ) 初级 或 中 级 测试 工程 师 ; 

(2 ) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 投入 工时 的 情况 
(1 ) 初级 测试 工程 师 或 实习 生 ; 

(2 ) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 或 不 投入 工时 的 情况 


7.3.5 确定 测试 的 总 体 框架 


最 后 我 们 再 来 把 测试 框架 完善 一 下 。 


测试 框架 可 以 理解 为 如 何 组 建 测试 。 如 果 仪 从 字面 意思 上 来 看 ， 我 们 可 能 会 认为 测 
试 框架 就 是 测试 分 层 ， 但 实际 上 测试 框架 所 处 的 层级 要 比 测试 分 层 更 高 一 些 ， 并且 
测试 框架 其 实 包含 了 测试 分 层 。 


我 们 将 测试 框架 构建 为 三 层 : 策略 层 、 活 动 层 和 保证 层 。 


如 果 把 测试 整体 看 成 一 个 “人 ”策略 层 就 像 是 人 的 大 脑 ， 负 责 指挥 测试 该 如 何 进 
了 ， 确 保 测试 做 的 是 正确 的 事情 ; 而 活动 层 束 像 是 人 的 身体 ， 负 责 具体 的 执行 ; 保 
证 层 就 像 是 人 的 五 官 ， 保 证 身体 能 够 顺利 地 执行 任务 。 


我 们 将 测试 策略 和 测试 活动 按照 测试 框架 绘制 出 来 ， 并 按照 研 帮 流程 和 测试 分 层 来 
组 织 这 些 测试 活动 的 先后 次 序 ， 作 为 测试 的 忌 体 框 架 ， 如 图 7-17 所 示 。 






概念 阶段 计划 阶段 开发 阶段 验证 阶段 发 布 阶段 
p/n 4h 
系统 工程 师 





”| 需求 规格 
包 需 求 需求 规格 


系统 设计 







版 本 发 布 和 缺陷 修改 


阶段 测试 策略 测试 执行 策略 


区 集成 系统 验收 

i | 十 

测试 设计 | 单元 测试 测试 测试 测试 
开发 设计 


TeVleW 


测试 设计 review 


图 7-17 测试 总 体 框架 

7.3.6 回顾 

让 我 们 回顾 一 下 ， 到 目前 为 止 我 们 取得 的 进展 : 

分 解 了 产品 质量 目标 。 

-基于 风险 对 特性 进行 了 分 类 。 

-确定 了 测试 深度 和 广度 以 及 测试 优先 级 ， 确 定 了 测试 投入 策略 。 
-确定 了 测试 的 总 体 框架 。 

事实 上 ， 进 行 到 现在 ， 我 们 可 以 认为 软件 测试 架构 师 完 成 了 总 体 测 试 策略 的 制定 。 
总 体 测试 策略 最 后 的 输出 究竟 是 什么 呢 ? 其 实 就 是 两 张 表 和 一 幅 图 。 


第 一 张 表 ， 是 我 们 在 文中 一 直 模 糊 地 称 其 为 “特性 一 质量 等 级 ” 表 并 不 断 向 其 中 添 
加 内 容 的 那 张 表 ， 见 表 7-17。 


表 7-17 特性 一 质量 等 级 表 


质量 目标 Sn 计划 的 质量 测试 广度 
测试 深 


测 试 履 着 证 度 度 Negrete oR 需 要 使 用 功 f 能 、 性 外 能 、 
需要 更 新 之 月 i 
完全 商用 | 测试 过 程 ei 有 | 老 特 性 变 可 靠 性 和 易 用 性 中 所 有 的 | 全 面 测试 
缺陷 Th 测试 方法 


质量 目标 | 目标 分 解 计划 的 质量 测试 广度 
测试 深 


(1) 加 强 需 求 
i 测 试 如 黎 | 度 的 We 由 讶 六 需 要 使 用 功 E 能 、 性 能 、 

完全 商用 次 二 过 程 ee | 全 新 特性 高 可 靠 性 和 易 用 性 中 所 有 的 | 全 面 测试 

(2 ) 加 强 对 系 J 
i pe 测试 方法 

统 设计 的 review 
测试 覆盖 度 使 用 功能 测试 的 所 有 测 
受 限 商用 | 测试 过 程 EE 特性 加 强 试 方法 ， 可 靠 性 中 故障 植 | 部 分 测试 
入 法 和 稳定 性 测试 法 






测试 、 演 








:或 测试 a 只 需要 使 用 功能 测试 方 
示 或 小 范围 | 测试 过 程 新 特性 ee 使 用 功能 测试 方 全 面 测试 


现在 我 们 终于 可 以 为 其 正名 了 一 一 其 实 它 的 真名 叫 “ 总 体 测试 策略 分 析 表 ′。 在 实 
际 项 目 中 ， 我 们 也 可 以 将 这 张 表 作 为 总 体 测试 策略 的 模板 ， 见 表 7-18。 


表 7-18 总 体 测试 策略 分 析 表 
量 目标 分 解 人 质量 测试 广度 
于 测试 深 


第 二 张 表 是 测试 投入 策略 表 ， 见 表 7-19。 





表 7-19 测试 投入 策略 表 


优先 级 等 级 测试 投入 策略 
) 中 级 或 中 级 以 上 的 测试 工程 师 ; 
高 (2 ) 保证 足够 的 测试 投入 工时 ; 
(3 ) 尽量 不 在 项 目 中 途 更 换 测 试 责任 人 
) 初级 或 中 级 测试 工程 师 ; 


(2) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 投入 工时 的 情况 
攻 ) 初级 测试 工程 师 或 实习 生 ; 


(2 ) 尽量 保证 足够 的 测试 投入 工时 ， 不 排除 减少 或 不 投入 工时 的 情况 


最 后 的 图 就 是 我 们 的 测试 总 体 框架 图 ， 如 图 7-18 所 示 。 
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测试 分 析 


测试 设计 review 


图 7-18 测试 总 体 框架 图 
7.4 制定 阶段 测试 策略 


接 下 来 软件 测试 染 构 师 将 要 进入 到 制定 阶段 测试 策略 的 环 匡 了 ， 如 图 7-19 所 示 。 


CD) 制定 阶段 测试 策略 






| 开发 阶段 验证 阶段 发 布 阶 段 
系统 工程 师 
需求 规格 
系统 设计 
开发 人 员 j 析 | | 设计 | | ”编码 版 本 发 布 和 缺陷 修改 
测试 人 员 总 体 ; 价 段 测试 策略 测试 执行 策略 
| 初次 使 用 | :制定 
1 a 人 | -LA 
上 | 四 步 测试 制定 总 体 1 阶段 忆 
i 策略 | 测试 策略 | 测试 7 
制定 法 :策略 和 


Vf pe fo ER Pe 


图 7-19 制定 阶段 测试 策略 


软件 测试 架构 师 在 制定 忌 体 测试 策略 的 时 候 基 本 处 于 “单打 独 斗 ”的 状态 ， 整 个 测 
试 团队 中 可 能 就 只 有 软件 测试 染 构 师 投 入 。 到 了 制定 阶段 测试 策略 的 时 候 ， 测试 团 
队 中 的 其 他 成 员 才 会 开始 投入 ， 进 行 测试 分 析 和 设计 。 因 此 阶段 测试 策略 需要 能 够 
同上 承接 总 体 测 试 策略 ， 立 马 指导 测试 分 析 和 设计 ， 向 下 能 够 措 导 后 面 的 测试 执 


/一 


位。 
7.4.1 测试 设计 策略 


在 制定 忌 体 测试 策略 的 时 候 ， 软 件 测试 架构 师 已 经 为 产品 特性 确定 了 测试 深度 。 但 
测试 深度 是 从 测试 方法 的 角度 去 摘 述 的 ， 我 们 在 测试 执行 的 时 候 ， 并 不 会 按照 测试 
方法 去 测试 ， 而 是 按照 测试 用 例 去 测试 。 也 融 是 这， 我 们 需要 按照 测试 深度 来 进 
测试 设计 ， 然 后 我 们 再 执行 这 些 测 试用 例 ， 以 达到 以 特定 的 测试 深度 来 进行 测试 执 
行 的 目的 。 


1. 使 用 “测试 分 析 设 计 表 ”来 保证 测试 设计 符合 测试 策略 


“测试 分 析 设 计 表 ”是 对 每 个 功能 或 特性 进行 测试 设计 的 辅助 工具 ， 使 用 测试 分 析 
表 的 好 处 是 : 


-软件 测试 架构 师 可 以 通过 配置 “测试 分 析 准 备 表 ”来 控制 测试 设计 的 深度 。 
:测试 设计 者 能 够 在 表 中 非常 方便 地 记录 下 测试 分 析 的 过 程 。 


评审 者 很 容易 看 出 设计 者 考虑 了 哪些 地 方 ， 没 有 考虑 哪些 地 方 ， 考 虑 的 深度 是 否 合 


适 。 

“测试 分 析 设 计 表 ”由 3 张 表 构 成 : “测试 分 析 准 备 表 ”“ 测 试 类 型 分 析 表 ”和 和“ 功 
能 交互 分 析 表 ”。 

1 ) 测试 分 析 准 备 表 

“测试 分 析 准 备 表 ”的 主要 作用 是 为 被 测 对 象 配 置 在 测试 设计 中 需要 考虑 哪些 “ 测 
试 类 型 ” ( 可 以 理解 为 测试 方法 ， 包 括 功 能 和 非 功能 方面 ) 和 “功能 交互 ” ( 可 以 


理解 为 需要 将 哪些 功能 放 在 一 起 考虑 ， 它 们 是 否 需 要 进行 “多 运行 相互 作 
用 ”和 “多 运行 顺序 执行 ”的 测试 ) 。 


A 上 


A z 人 


Gs 


10 | 兼容 测试 [coMP | | 

11 | 升级 测试 lbp | | 

12 | 备份 测试 |BACX | | 
多 用 注 测 
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26 
27 
_28 








图 7-26 示例 
图 7- 26 是 一 个 示例 。 以 其 为 例 ， 这 样 配置 的 意思 是 : 


-被 测 对 象 需 要 从 功能 、 配 置 、 一 致 性 、 安 全 性 、 性 能 、 压 力 、 稳 定性 、 兼 容 、 升 


级 、 备 份 、 易 用 性 方面 来 考虑 测试 点 。 


-被 测 对 象 需要 分 别 和 安全 特性 、VLAN 等 功能 结合 起 来 考虑 测试 点 。 


软件 测试 架构 师 可 以 通过 配置 “测试 分 析 准 备 表 ”来 控制 测试 深度 。 


例如 ， 在 筷 体 测 试 策略 中 ， 确 定 的 特性 A 的 测试 深度 为 : “使 用 功能 


方法 ， 可 靠 性 中 故障 植 入 法 和 稳定 性 测试 法 。” 


那么 我 们 就 可 以 这 样 来 配置 “测试 分 析 准 备 表 ”“， 如 图 7-21 所 示 。 


A B Es D 
1 | 测试 类 型 表 





图 7-21 测试 分 析 准 备 表 


测试 的 所 有 测试 


如 果 某 特性 在 测试 特性 中 ， 不 需要 考虑 “测试 多 运行 相互 作用 ”和 “测试 多 运行 顺 
序 执行 ”， 就 直接 不 配置 “开发 特性 表 ”， 使 其 为 空 就 好 了 ， 如 图 7-22 所 示 。 


1 A B 2 D 
1 测试 类 型 表 
2 测试 大 型 | 编码 ”| 摆 注 
3 ee FUNC | | 





图 7-22 开发 特性 表 


接 下 来 各 个 特性 测试 设计 者 ， 束 可 以 根据 “测试 分 析 准 备 表 ”中 的 配置 来 分 别 进行 
功能 交互 分 析 和 测试 类 型 分 析 。 


2 ) 测试 类 型 分 析 表 


“测试 类 型 分 析 表 ”如 图 7-23 所 示 。 


A 
STEP1: 测试 类 型 分 析 : 





























图 7-23 测试 类 型 分 析 表 


其 中 的 “ 列 ” 为 待 分 析 的 需求 ，“ 行 ”为 测试 类 型 。 至 于 行 表 头 中 会 有 哪些 测试 类 
型 ， 这 和 我 们 在 “测试 分 析 准 备 表 ” 中 对 测试 类 型 表 的 配置 有 关 一 一 我 们 只 对 配置 
了 的 测试 类 型 进行 测试 类 型 分 析 。 这 和 我 们 希望 对 测试 深度 进行 控制 的 策略 是 一 致 
的 。 


“测试 类 型 分 析 表 ”的 使 用 方法 是 ， 对 待 分 析 的 每 一 条 “需求 ”， 逐 一 分 析 在 这 些 
测试 类 型 下 是 否 有 测试 点 。 如 果 有 ， 就 把 测试 点 记录 到 需求 和 测试 类 型 正 交 的 表格 
中 ; 如 果 有 多 条 测试 点 ， 紧 接着 在 下 面 添加 一 行进 行 记录 融 可 以 了 ; 如 果 没 有 测试 
点 ， 就 让 这 个 正 交 的 表格 空 着 好 了 。 


图 7-24 所 示 是 一 个 参考 实例 。 


分 析 完 成 后 ， 我 们 将 
的 整理 ， 就 能 


再 对 这 


4 


10 


1 


13 


Ae ; 先 bz 
些 测试 点 进行 筛选 ， 得 到 需要 后 续 进 行 功能 交互 分 析 的 测试 点 ( 如 图 7-25 中 
-一 / a Wan / 1 吉 土 / AY = 
mn = 
3“y” 所 示 ) 
A B [= D F G H J K M N 0 Pp Q 及 
STEP1: 测试 类 型 分 析 
编号 原始 测试 点 功能 测试 FUNC 配置 测试 CFG 一 般 性 测试 CONF | 安全 测试 SECU 性 能 测试 PER 压力 测试 STR. 稳定 性 测试 ITME 兼容 测试 COMP | 
es ta 编号 测试 点 编号 测试 点 编号 测试 点 | _ 编号 测试 点 编号 测试 点 编号 测试 点 编号 测试 点 编号 测试 
满 配置 下 压 满 配置 下 
力 测试 (小 长 时 间 测 
DR- DR- 满 配置 下 吞 |DR- DR- 
DR-001 支持 256VLAN 满 配置 测试 3 包 、 混合 包 试 (小 包 ， 
CFG-001 PER-001 测 STR-001 “| LIME001 
i 和 流量 形 大 包 , 混 
状 ) 合 包 ) 
DR- 满 配置 下 时 |DR- lp 请 配 重 下 
下 压力 恢复 包 测 
PER-002 | 延 测试 STR-002 | 测 这 LIME-002 
测试 
DR- 满 配 置 下 丢 DR- WE 
PER-003 | 包 率 测试 ITME003 | 议 
| 
1 
er 
得 谍 
| TME904 | 短 包 测试 
志和 二 友和 入 7 机 击 责 
DR_.002、DR_006 支持 Acoess 端口 ， 支 持 转发 带 Ee Access SR 发 带 配置 接口 类 型 为 
vlan 和 不 带 vlan 的 报 文 FUNC-001 |tag 的 报 文 CFG-001 | Access 
DR- Access 口 转发 不 修改 Access 接口 
FUNC-002 | 带 tag 的 报 文 ”| CFG-002 | 类 型 
DR- | 删除 Access 接口 
CFG-003 | 类 (恢复 为 默认 ) 
和 XX 
支持 Trunk 端口 ， 支 持 转发 带 | 。 DR。 | Thmk 口 转 发 带 | DR、 | 配置 接口 类 型 为 
We FUNC-003 |tag 的 报 文 CFG-004 | Trunk | 本 
001 V1 的 情 
况 
DR- | Ta 日 转 发 不 修改 Trunk 接口 | 
FUNC-004 | 带 tag 的 报 文 ”| CFG-005 | 类 型 
删除 Trunk 接口 
CFG-006 | 类 (恢复 为 黑 认 ) 


GY 


分 析 结 果 汇 


/UN 


已 到 一 个 表 中 ( 图 7-25 ) ， 
得 到 原始 需求 经 过 测试 类 型 分 析 后 的 测试 点 。 


并 对 分 析 结 


进行 简单 































































































图 7-24 参考 实例 





-| B | PE D | 
1 编号 测试 点 备注 说 明 人 

_2 |DREUNC-001 Access 口 转发 带 tag 的 报 文 Wn i 

_4 | DR-FUNC-003 Tk tag 的 报 文 | | yy， | 
5 |DREFUNC-004 Trunk 品 转 发 不 带 ag 的 报 文 | | yy | 

7 |DR-FUNC-006 i 口 转发 带 tag 的 报 文 一 一 一 一 一 一 一 一 一 一 一 一 一 
8 | DR-CFG-001 一 Access 
9 | DR-CFG-002 | 修改 Access 接口 类 型 | 接口 类 型 _ 

_ 11 | DR-CFG-004 i 类 型 为 Tronk 9 
12 | DR-CFG-005 修改 Trunk 接口 类 型 i 
noow lm | | 

14 | DR-CFG-007 配置 接口 类 型 为 hybrid re m= 
15 | DR-CFG-008 修改 hybrid 接口 类 型 OE 

_17 | DR-FUNC-010 EE EE 
18 | DR-FUNC-011 修改 vam | | 
19 | DR-FUNC-012 删除 van | 

| | 

21 | DR-SEC-001 本 生生 和 [=m 
22 | DR_PER-001 满 配 置 下 吞吐 量 测试 zs 
23 | DR-PER-002 满 配 置 下 时 延 测试 = 
24 | DR-PER-003 2 FE 率 测试 一 

_ 25 | DR-PER-004 则 斌 II 

消 配 置 下 压力 测试 (小 包 、 
2 DR Sree on A | | 

_27 | DR-STR-002 置 下 压力 恢复 测试 EE 

满 配置 Se (小 包 ， 
ES | 
图 7-25 分 析 结 果 汇 总 表 
3 ) 功能 交互 分 析 表 


"功能 交互 分 析 表 ”和 “测试 类 型 


A 





分 析 表 ”类 似 ， 如 图 7-26 所 示 。 


“ 行 ” 表 头 中 显示 的 需要 进行 功能 交互 分 析 的 功能 ， 依 然 和 “测试 分 析 准 备 表 ”中 
的 “开发 特性 表 ” 保 持 一 致 。 而 “ 列 ” 的 内 容 就 不 是 “原始 的 需求 ”了 ， 而 是 测试 
类 型 分 析 结 束 后 ， 我 们 识别 出 的 需要 再 进行 功能 交互 分 析 的 测试 点 。 


接 上 一 节 的 例子 ， 参考 示 例如 图 7-27 所 示 。 


完成 功能 交互 分 析 后 ， 我 们 需要 将 功能 交互 分 析 中 得 出 来 的 测试 点 ， 整 理 后 再 和 测 
试 类 型 分 析 中 得 到 的 测试 点 合并 ， 束 完成 了 被 测 对 象 的 测试 点 分 析 。 


A B b . I 
编号 原始 测试 点 三 
| FT 刘 点 I 




















图 7-26 功能 交互 分 析 表 


K M N 





J 报 文 不 带 
Hybrid 口 Hybrid 
”| 转发 STP | -FUNC-| 为 汇聚 口 ， ”| 镜像 口 ，( 双 、 





图 7-27 参考 示例 
2 .四 步 测试 设计 法 和 测试 广度 


通过 “测试 分 析 设计 表 ” 输 出 测试 点 ， 完 成 了 测试 分 析 活 动 后 ， 测 试 设计 者 就 可 以 
使 用 四 步 测试 设计 法 来 对 测试 点 进行 测试 设计 ， 输 出 测试 用 例 了 。 

但 是 四 步 测试 设计 法 会 影响 我 们 测试 策略 中 的 测试 广度 ， 特 别 是 流程 类 中 的 路 径 分 
析 法 ， 使 用 不 同 的 路 径 覆 苹 策 略 ( 语句 履 兰 、 分 文 覆 盖 、 全 履 盖 和 最 小 线性 无 天 履 
苹 ) ， 测 试 广度 的 差异 会 非常 大 。 此 时 ， 需 要 软件 测试 架构 师 制定 一 个 测试 设计 中 
的 路 径 获 盖 策 略 ， 以 保证 测试 者 设计 的 测试 用 例 能 够 符合 测试 策略 中 的 测试 广度 。 
6.4.2 节 已 经 介绍 了 路 径 履 盖 度 评估 的 基本 方法 ， 我 们 可 以 参考 其 中 步骤 1 和 步骤 

, 用 忌 体 测试 策略 中 优先 级 来 定义 不 同 的 路 径 覆 苹 策 略 ， 见 表 7-28。 


表 7-26 用 优先 级 定义 路 径 履 善 策略 


优先 级 等 级 测试 设计 中 的 路 径 覆 盖 策略 


高 在 “最 小 线性 无 关 覆 次 ”的 基础 上 增加 一 些 路 径 
中 进行 “最 小 线性 无 关 覆 着 ” 


在 保证 “最 小 线性 无 关 覆 善 ” 中 的 “ 主 路 径 ”( 最 短路 径 ) 的 基础 上 ， 增 加 一 些 路 径 , 但 是 整体 不 达 


到 “最 小 线性 无 关 禾 六 


3 .测试 用 例 等 级 


设计 好 了 测试 用 例 之 后 ， 建 议 软件 测试 架构 师 再 让 测试 设计 者 对 测试 用 例 分 一 下 
级 。 我 习惯 将 测试 用 例 分 为 四 级 ， 每 一 级 的 定义 ， 对 应 的 测试 深度 和 对 应 的 测试 分 
析 设 计 表 ， 见 表 7- 21。 


表 7-21 测试 用 例 分 级 


用 例 等 级 对 应 的 测试 深度 ( 测试 方法 ) 对 应 的 测试 分 析 设计 表 
功能 测试 一 一 单 运行 顺序 执行 es 
基本 功能 类 测试 用 例 (用 户 最 | ”前 济 斌 一半 运行 硕 记 执行。 | 测试 类 型 分 析 表 一 
i (对 流程 类 的 测试 点 一 一 对 应 的 测试 路 径 为 i: 
常用 的 功能 ) doe 功能 测试 部 分 
最 短路 径 ) 
单 功能 类 测试 用 例 ( 除 基本 功 | ”功能 测试 一 一 单 运行 顺序 执行 测试 类 型 分 析 表 一 一 
能 之 外 ， 其 他 的 功能 ) 功能 测试 一 一 单 运行 边界 值 输入 功能 测试 部 分 
功能 测试 一 一 多 运行 顺序 执行 
功能 测试 一 多 运行 相互 作用 
可 靠 性 测试 一 故障 植 人 法 
i | ， | ”可靠 性 测试 一 稳定 性 测试 法 功能 交互 分 析 表 
功能 交互 类 和 非 功 能 类 的 疯 本 
lsvel3 0 易 用 性 测试 一 一 一 致 性 测试 法 测试 类 型 分 析 表 一 一 
i 易 用 性 测试 一 一 可 用 性 测试 法 非 功能 测试 部 分 


levell 


level2 


性 能 测试 法 
可 维护 性 测试 法 
可 移植 性 测试 法 





( 续 ) 
用 例 等 级 对 应 的 测试 深度 (测试 方法 ) 对 应 的 测试 分 析 设 计 表 
可 靠 性 测试 一 异常 值 输 入 法 
| 可 靠 性 测试 一 一 压力 测试 法 测试 类 型 分 析 表 一 一 
- 些 抬 :或 是 输入 - 革 较 严 eg : Re | | 
level4 me ty | 可 千 性 测试 一 恢复 测试 法 可 靠 性 测试 
ey 功能 测试 一 -多 运行 顺序 执行 功能 交互 分 析 表 
功能 测试 一 多 运行 相互 作用 


测试 用 例 分 级 将 会 为 后 面 的 分 层 测试 、 回 归 测 试 、 验 收 测试 和 目 动 化 测试 在 如 何 选 
择 用 例 方面 ， 市 来 莫大 的 方便 。 


7.4.2 集成 测试 策略 


集成 测试 位 于 产品 研发 流程 的 开 友 阶段 。 所 谓 “集成 ”， 可 以 理解 为 不 断 开 发 功能 
并 将 功能 集成 到 系统 中 ， 最 后 完成 整个 系统 的 开发 过 程 。 


1.“ 俄 罗斯 方块 心 ”项 目的 集成 开 皮 


假设 用 户 希 望 我 们 开 友 一 称 叫 “俄罗斯 方块 心 ” 的 产品 ， 如 图 7-28 所 示 。 


用 户 期 望 的 产品 





图 7-28 俄罗斯 方块 心 


通过 分 析 ， 开 发 很 快 将 产品 划分 为 如 下 几 个 基本 功能 ， 如 图 7-29 所 示 。 


. 





图 7-29 基本 功能 


并 制定 了 通过 4 个 build 来 把 功能 开发 元， 并 完成 系统 的 集成 计划 ( 在 build1 对 应 的 
虚线 框 中 ， 开 发 框 中 的 3 个 图 形 ; 在 build2 中 开发 框 中 的 两 个 图 形 ， 以 此 类 推 ) ， 
如 图 7-38 所 示 。 


功能 开发 计划 : 





图 7-38 功能 开发 和 系统 集成 计划 


这 样 ， 每 一 个 build 后 ， 产 品 的 集成 形态 如 图 7-31 所 示 。 


功能 开发 功能 集成 功能 开发 功能 集成 











功能 开发 功能 集成 功能 开发 功能 集成 











图 7-31 产品 的 集成 形态 
4 个 build 完 成 后 ， 我 们 的 系统 也 融 完 全 集成 好 了 。 


“俄罗斯 方块 心 ”虽然 是 个 虚拟 项 目 ， 却 能 帮 有 我们 很 好 地 理解 产品 的 集成 开发 过 
程 ， 确 定 集成 开 友 阶段 的 测试 策略 。 


2 .集成 测试 的 对 象 和 测试 目标 
让 我 们 再 来 仔细 分 析 一 下 “俄罗斯 方块 心 ”的 集成 开 友 过 程 : 


开发 者 按照 计划 ， 完 成 本 build 计 划 要 集成 到 系统 的 功能 开发 后 ， 需 要 通过 单元 测试 
来 测试 功能 的 正确 性 ; 测试 通过 后 ， 开 发 者 将 功能 集成 起 来 ， 构 造 系统 ( 这 个 过 程 


有 时候 又 叫 “ 联 调 ” ) 。 构 成 完成 之 后 的 测试 ， 残 是 我 们 的 “集成 测试 ”。 


图 7-32 以 “俄罗斯 方块 : 心 ”项 目的 “bui1d2” 为 例 ， 重新 描绘 了 这 个 过 程 。 


单元 测试 1 1-[--[---- 


单元 测试 2 


单元 测试 3 集成 测试 1 || 集 成 测试 2 





图 7-32 buil1d2 的 集成 开 肥 过程 


其 中 单元 测试 是 为 了 测试 “新 开 友 的 功能 和 模块 是 否 符 合 设 计 ”， 是 “日 使 测 
试 ”， 使 用 内 部 接口 进行 测试 。 


而 集成 测试 相当 于 是 在 测试 验证 “新 合 入 功能 能 否 在 系统 中 被 正确 地 沪 配 起 来 ” ， 
是 “ 黑 盒 测试 ”， 也 是 系统 级 的 测试 ， 应 该 使 用 系统 提供 给 用 户 的 输入 接口 来 进行 
测试 ， 使 用 提供 给 用 户 的 输出 接口 来 判断 接口 的 正确 性 。 


“功能 能 够 在 系统 中 被 正确 委 配 ” 隐 含 了 一 个 前 提 融 是 “功能 是 我 们 想 要 的 那个 功 
能 ”。 而 单元 测试 只 能 确认 功能 的 实现 是 符合 设计 的 ， 却 不 能 保证 功能 恰好 就 是 我 
们 想 要 的 。 因 此 ， 集 成 测试 需要 测试 的 内 容 包括 如 下 几 项 ( 图 7-33 ) : 


-使 用 黑 合 测试 的 万 法 来 确认 新 合 入 的 功能 是 否 正确 。 
-验证 功能 集成 后 系统 功能 的 正确 性 。 

-确认 原来 的 系统 功能 没有 被 新 合 入 的 功能 所 破坏 。 
3 .入口 准则 一 一 何 时 可 以 开始 进行 集成 测试 


集成 测试 的 入 口 准则 等 同 于 “第 一 个 集成 计划 中 提交 的 功能 能 否 进 行 集成 测试 ”。 
我 们 以 “俄罗斯 方块 心 ” 项 目的 “build1” 为 例 ， 如 7-34 所 示 。 








nlfnnie 
直上 
Win 

MM 

tk 


功 功能 确认 | 测试 原 系 统 










测试 新 功能 集成 


图 7-33 集成 测试 需要 测试 的 内 容 


bulldl 


功能 开发 功能 集成 





图 7-34 build1 示 例 
条 件 1 : 第 一 个 集成 计划 中 的 功能 开发 完成 ， 并 完成 了 单元 测试 ( 图 7-35 ) 。 
条 件 2 : 第 一 个 集成 计划 中 的 功能 集成 完成 ， 并 可 测 ( 图 7-36 ) 。 


条 件 2 的 重点 在 于 “可 测 ”， 即 开发 需要 提供 基于 用 户 的 输入 输出 接口 ， 而 不 能 是 
部 的 函 数 接口 ， 确 保 测试 能 够 进行 系统 级 的 黑 盒 测试。 


条 件 3 : 测试 团队 已 经 做 好 了 测试 准备 。 
这 里 的 测试 准备 ， 主 要 包括 : 
测试 用 例 已 经 输出 ， 并 通过 了 评审 。 
测试 资源 已 经 到 位 。 
测试 环境 已 经 准备 好 。 


4. 测 试用 例 选 择 


明确 了 测试 内 容 ， 测试 用 例 的 选择 束 变 得 容易 了 ( 图 7-37 ) : 


功能 开发 完成 ， 
单元 测试 完成 





单元 测试 单元 测试 


单元 测试 


图 7-35 条 件 1 示 意图 


功能 集成 完成 ， 
并 可 测 


Ee 
Bi ee ee 





可 测试 ? 


图 7-36 条 件 2 示 意图 





上 一 一 沾 一 一 


功能 确认 -levell 确认 厚 系 统 -level 





测试 新 功能 集成 -level2+ 部 分 level3 


图 7-37 测试 用 例 的 选择 
-针对 功能 确认 的 测试 ， 可 以 选择 相关 功能 level 1 的 测试 用 例 。 


针对 “测试 新 功能 集成 ”的 测试 ， 可 以 选择 相关 功能 level 2 的 测试 用 例 和 部 分 
level 3 的 测试 用 例 。 


针对 “确认 原 系统 ”的 测试 ， 可 以 选择 相 天 功能 中 level 1 的 测试 用 例 。 


其 中 “部 分 level 3 的 测试 用 例 ” 是 指 在 集成 测试 后 期 ， 系 统 已 经 相对 比较 成 熟 和 
稳定 的 时 候 ， 也 可 以 适当 选择 一 些 性 能 、 稳 定性 和 压力 方面 的 测试 用 例 来 进行 测 
试 ， 以 避免 这 些 “ 非 功能 ”方面 的 问题 在 系统 测试 阶段 密集 爆发。 


5 . 出口 准则 


当 我 们 达到 了 集成 测试 阶段 的 目标 后 ， 融 可 以 退出 集成 测试 。 


出 口 准则 包括 : 

:系统 需要 集成 的 功能 已 经 全 部 开放 、 集 成 完成 。 
-计划 执行 的 测试 用 例 已 经 完成 。 

缺陷 分 析 的 结果 符合 预期 。 

-达到 了 集成 测试 阶段 的 产品 质量 目标 。 

7.4.3 系统 测试 策略 

从 系统 测试 开始 ， 产 品 研发 流程 进入 到 测试 阶段 。 
1 .系统 测试 的 对 象 和 测试 目标 


我 们 还 是 继续 以 “俄罗斯 方块 心 ”为 例 。 系 统 测试 的 测试 对 象 为 整个 系统 ， 对“ 俄 
罗斯 方块 心 ”这 个 项 目 来 讽 ， 融 是 整个 心 形 图 案 ， 如 图 7-38 所 示 。 


我 们 可 能 会 有 这 样 的 疑问 : 在 集成 测试 结束 的 时 候 ， 这 个 心 形 图 案 束 已 经 完成 了 ， 
并 且 我 们 也 进行 了 测试 ， 为 什么 还 要 再 进行 系统 测试 呢 ?或 者 说 这 个 问题 从 测试 的 
角度 来 看 ， 残 是 已 经 在 集成 测试 中 执行 了 的 测试 用 例 ， 在 系统 测试 中 还 需要 再 执行 
一 遍 吗 ? 集成 测试 和 系统 测试 的 差异 主要 在 哪里 ? 


我 们 再 来 仔细 回顾 一 下 “俄罗斯 方块 心 ” 的 集成 测试 过 程 束 会 友 现 ， 我 们 在 进行 集 
成 测试 的 时 候 ， 目 光 是 紧 盯 着 新 开 友 的 功能 的 。 这 种 “专注 性 ”， 很 容易 让 我 们 忽 
视 对 系统 其 他 反应 的 判断 。 而 且 随 着 功能 的 不 断 集成 ， 系 统 的 复杂 性 开始 急剧 脱 
胀 ， 我 们 很 难 ( 或 者 说 没有 足够 的 测试 时 间 ， 或 是 说 系统 还 不 够 稳定 ) 来 把 和 功能 
相 天 的 所 有 组 合 都 验证 完 。 


例如 ,我 们 在 测试 “L” 和 “I” 形 的 时 候 ， 可 能 会 倾向 于 对 左边 的 “L” 和 “I” 的 
组 合 测试 得 比较 充分 ， 而 忽视 对 右边 躺 着 的 那个 “I” 的 测试 。 而 右边 的 “I” ,其 
实 和 它 下 面 的 “T” 是 有 交互 的 ， 而 且 这 部 分 在 “针对 原来 系统 的 验证 ”中 也 很 难 被 
验证 ， 如 图 7-39 所 示 。 









测试 得 
比较 充分 


图 7-39 测试 是 否 充分 的 示意 图 


更 重要 的 是 ， 集 成 测试 主要 还 是 针对 功能 的 集成 ， 在 集成 测试 中 我 们 无 法 ( 或 者 说 
没有 足够 的 测试 时 间 ， 或 是 说 系统 还 不 够 稳定 ) 对 被 测 对 象 的 其 他 非 功能 方面 的 质 
量 来 进行 测试 验证 。 这 一 切 都 说 明 ， 只 通过 集成 测试 无 法 对 系统 进行 全 面 的 测试 ， 
系统 测试 是 有 必要 的 ， 在 系统 测试 中 需要 测试 的 主要 内 容 包 括 : 


从 系统 角度 来 验证 测试 功能 的 正确 性 。 
' 从 系统 角度 来 验证 各 种 非 功能 的 质量 的 正确 性 。 
2. 入 口 准则 一 一 何 时 可 以 开展 系统 测试 


系统 测试 的 入 口 准则 ， 残 是 集成 测试 的 出 口 准则 ， 再 加 上 一 条 : 测试 团队 已 经 做 好 
了 测试 准备 ， 包 括 测试 用 例 、 测 试 资 源 和 测试 环境 都 已 到 位 。 


3 .测试 用 例 选择 


现在 我 们 来 回答 本 节 开 头 提 的 问题 : 我 们 在 集成 测试 中 执行 了 的 测试 用 例 ， 在 系统 
测试 中 还 需要 由 执行 一 遍 吗 ? 


答案 是 ， 系 统 测 坛 和 集成 测试 的 测试 用 例 肯定 会 有 相同 的 部 分 ， 但 并 不 是 简单 地 重 
复 一 退 ， 而 是 存在 一 定 的 选择 策略 。 


针对 “系统 角度 的 功能 测试 ” : 可 以 选择 level11l 和 部 分 leve12 的 测试 用 例 。 


-针对 “ 非 功 能 的 质量 的 正确 性 ” : 可 以 选择 leve13 的 测试 用 例 和 leve14 的 测试 用 
例 。 


4. 测 试 执行 顺序 


测 斌 执行 顺序 是 指 先 执行 哪些 测试 用 例 ， 下 执行 哪些 测试 用 例 ， 或 者 说 先 使 用 哪些 
测 斌 方法， 再 使 用 哪些 测试 方法 。 


我 们 在 集成 测试 中 并 没有 讨论 测试 执行 顺序 ， 是 因为 集成 测试 的 测试 对 象 很 单一 ， 
束 是 “功能 ”。 虽 然后 面 我 们 提 到 在 集成 测试 的 后 期 ， 可 以 考虑 增加 一 些 “ 非 功能 
方面 ”的 测试 ， 但 是 总 的 来 说 这 并 不 会 给 测试 市 来 先 执行 什么 再 执行 什么 的 困扰 。 


和 集成 测试 不 同 ， 系 统 测试 需要 对 功能 、 可 靠 性 、 性 能 、 易 用 性 等 各 方面 进行 测 
试 ， 如 果 不 考虑 测试 执行 的 顺序 ， 很 容易 遇 到 阻塞 ， 影 响 测试 的 顺利 进行 。 


软件 测试 架构 师 在 考虑 测试 执行 顺序 的 时 候 ， 可 以 基于 如 下 几 点 : 


:有些 测 试 方法 本 来 束 需 要 满足 一 些 条 件 才能 进行 。 例 如 ， 满 规格 测试 需要 在 基本 功 
能 正常 的 情况 下 才能 进行 ， 否 则 将 很 难 区 分 问题 到 底 是 出 在 规格 上 ， 还 是 功能 上 。 
这 融 需 要 我 们 按照 测试 方法 本 身 的 条 件 来 安排 测试 执行 顺序 。 例 如 ， 先 进行 稳定 测 
试 ， 再 进行 压力 测试 ， 然 后 进行 恢复 测试 。 


-如果 有 两 种 测试 方法， 都 能 对 测试 对 象 进行 测试 ， 先 进行 复杂 的 ， 再 进行 简单 的 。 
或 者 说 ， 尽 量 先 执行 复杂 的 、 难 的 测试 用 例 ， 再 进行 简单 的 测试 用 例 。 这 样 考虑 的 
原因 是 ， 希望 缺 陷 能 够 尽量 在 测试 的 前 期 友 现 ， 另 外 先 执行 难 的 测试 用 例 也 能 保证 
这 些 测试 用 例 有 充足 的 测试 时 间 。 


可 以 考虑 组 合 多 种 测试 万 法 ， 或 者 说 让 测试 者 想 办 法 把 一 些 测试 用 例 放 在 一 起 执 
行 。 例 如 ， 可 以 将 功能 测试 的 测试 用 例 和 满 规 格 的 测试 用 例 放 在 一 起 进行 ， 在 满 规 
格 的 情况 下 测试 功能 。 这 种 测试 执行 顺序 特别 适合 系统 测试 中 需要 重复 执行 、 集 成 


测试 中 已 经 执行 过 的 那些 测试 用 例 ， 往 往 可 以 发 现 很 多 新 的 问题 。 
5 .出 口 准则 

当 我 们 达到 了 系统 测试 阶段 的 目标 后 ， 就 可 以 退出 系统 测试 。 
出 口 准 则 包括 : 

:计划 执行 的 测试 的 用 例 已 经 完成 。 

缺陷 分 析 的 结果 符合 预期 。 

:达到 了 系统 测试 阶段 的 产品 质量 目标 。 

7.4.4 验收 测试 策略 


验收 测试 是 产品 在 友 布 前 的 一 种 测试 ， 它 是 对 用 户 需 求 的 确认 ( 图 7-48 ) 。 事 实 
上 ， 我们 进行 验收 测试 已 经 不 再 是 为 了 发 现 产 品 的 问题 ， 而 是 为 产品 能 够 正常 发 布 
建立 信心 。 


用 户 希 望 的 产品 





图 7-46 验收 测试 

验收 测试 的 对 象 是 需求 ， 需 要 基于 用 户 场景 来 测试 。 
验收 测试 包含 Alpha 测 试 和 Beta 测 试 两 种 。 
1.Alpha 测 试 

Alpha 测 试 是 由 测试 人 员 模 拟 用 户 进行 的 测试 。 

1 ) 谁 来 进行 Alpha 测试 


理想 的 Alpha 测 试 人 员 ， 应 该 是 不 太 了 解 产 品 实现 细节 ， 但 是 对 用 户 非 常 了 解 的 人 。 
按照 这 个 标准 ， 市 场 人 员 、 系 统 工程 师 或 是 技术 支持 人 员 都 可 以 是 理想 的 Alpha 测 试 
人 员 ， 他 们 可 以 站 在 用 户 的 视角 ， 对 产品 质量 再 次 进行 审视 。 


该 功能 的 测试 责任 人 并 不 适合 作为 Alpha 测 斌 人员， 因为 他 们 对 自己 测试 的 系统 多 半 


已 经 出 现 了 “审美 疲劳 ”， 这 会 阻碍 他 们 再 进行 有 效 的 Alpha 测 试 。 


让 测试 组 员 相互 进行 交叉 验收 ， 似 乎 是 个 不 错 的 选择 一 一 这 确实 可 以 消除 “审美 疲 
劳 ” ， 发 现 一 些 问 题 ， 但 是 交叉 验收 却 很 难 达到 从 用 户 的 角度 再 去 审视 一 次 产品 的 
效果 。 与 交叉 测试 相 比 ， 更 有 效 的 万 法 是 ， 测 试 部 专门 成 立 一 个 “验收 测试 组 ”， 
由 测试 部 中 比较 有 经 验 、 测 试 能 力 强 ， 且 对 行业 、 对 用 户 都 有 一 定 了 解 的 测试 人 员 
来 担任 ， 让 他 们 来 作为 产品 友 布 前 的 最 后 一 道 防线 ， 这 无 疑 是 最 能 保证 Alpha 测试 效 
果 的 做 法 。 


2 ) Alpha 测 试 策略 


Alpha 测 试 不 是 系统 测试 的 延续 ， 它 是 产品 交付 的 序曲 ， 它 的 测试 重点 应 该 放 人 在 “ 确 
认 在 用 户 真 实 的 环境 下 ， 用 户 的 业务 、 用 户 的 使 用 习惯 是 否 能 够 满足 ”需求 上 。 模 
拟 用 户 的 真实 环境 ， 把 目 己 催眠 为 用 户 ， 能 够 以 用 户 的 思路 来 看 待产 品 ， 是 Alpha 测 
试 不 折 不 扣 的 难点 。 


下 面 的 清单 也 许可 以 帮助 我 们 进行 Alpha 测 试 分 析 ， 找 到 产品 在 Alpha 测 试 中 需要 天 
注 的 重点 内 容 : 


用户 将 会 如 何 学 习 产 品 ? 
产品 提供 的 资料 ( 如 手册 、 指 南 、 视 频 ) 是 否 能 够 对 用 户 提 供 切实 的 帮助 ? 


-用户 会 将 产品 安装 部 署 在 怎样 的 环境 中 ( 包括 用 户 会 使 用 到 的 硬件 、 操 作 系统 、 数 
据 库 、 浏 览 器 等 ) 。 


:在 用 户 的 环境 中 能 否 正确 升级 ? 升级 对 业务 的 影响 是 否 在 用 户 容忍 的 范围 内 ? 升级 
对 已 有 功能 的 影响 是 否 符合 用 户 需 求 ( 如 升级 后 不 能 丢 特 性 ) ? 


-产品 在 用 户 的 环境 中 能 人 否 被 正确 移 除 ? 
-产品 在 用 户 环境 中 的 上 下 游 设备 是 什么 ? 在 这 样 的 环境 中 ， 产 品 能 否 正常 使 用 ? 


用户 环境 中 可 能 会 有 哪些 业务 ? 哪些 业务 是 我 们 产品 需要 关注 的 ， 哪 些 业 务 是 我 们 
产品 不 需要 天 注 的 ， 对 那些 我 们 不 需要 关注 的 业务 ， 我 们 的 产品 会 怎么 处 理 ? 


用 户 的 环境 中 可 能 会 有 哪些 故障 ? 对 这 些 故 障 ， 我 们 的 产品 会 怎么 处 理 ? 


用 户 会 如 何 使 用 产品 的 日 志 、 告 警 、 审 计 、 报 表 等 和 运 维 相关 的 功能 ? 
2.Beta 测 试 

Beta 测 试 是 由 用 户 参 加 的 测试 。 常 见 的 方式 有 如 下 两 种 : 

.在 产品 正式 上 友 布 乙 前 将 产品 提前 友 给 用 户 ， 收 集 用 户 的 反馈 。 

在 产品 开发 完成 后 ， 交 由 用 户 对 产品 进行 验收 。 


第 一 种 方式 下 的 Beta 测 试 的 困难 之 处 在 于 确定 测试 的 时 间 和 参与 者 。 对 测试 者 来 
说 ， 倒 不 需要 对 上 面 两 个 问题 做 出 决策 ， 而 是 分 析 、 复 现 参 与 者 发 现 的 问题 ， 将 问 
题 整理 为 bug 报 告 ， 直 至 确认 bug 被 解决 。 


第 二 种 方式 下 的 Beta 测 试 ， 需 要 保证 产品 能 够 通过 用 户 的 验收 测试 ， 能 够 区 付 给 用 
户 使 用 ， 这 时 的 测试 需要 围绕 用 户 的 验收 方案 进行 ， 并 结合 用 户 的 使 用 习惯 和 用 户 
所 在 的 行业 特点 ， 做 好 充分 的 准备 。 


3 .入 口 准 则 一 一 何 时 开始 进行 验收 测试 


验收 测试 的 入 口 准则 ， 束 是 系统 测试 的 出 口 准则 再 加 上 : 
:Alpha 测 试 的 人 员 、 方 案 已 经 选 好 。 
-Beta 测试 的 用 户 已 经 确定 。 


4. 出 口 准则 一 一 何 时 可 以 退出 测试 ， 友 布 产品 


当 我 们 根据 产品 质量 评估 模型 ， 确 认 严 品 已 经 达到 忆 体 测试 策略 中 的 产品 质量 目标 


后 ， 融 可 以 退出 测试 。 
这 部 分 内 容 ， 我 们 将 在 第 8 章 中 再 为 大 家 详细 描述 。 
7.4.5 回顾 


现在 软件 测试 架构 师 已 经 走 到 了 图 7-41 中 所 示 的 位 置 。 


PE 完成 阶段 测试 策略 的 制定 


慨 念 阶段 计划 阶段 开发 阶段 验证 阶段 


需求 规格 


系统 设计 


系统 工程 师 


开发 人 员 | 设计 : 版 本 发 布 和 缺陷 修改 
测试 人 员 总 体 测试 策略 | 阶段 测试 策略 测试 执行 策略 

| | 初次 使 用 | | | 

| 开 ;四 步 测试 | 制定 总 体 ; 制定 阶段 

: 始 ; 策略 | 测试 策略 | 测试 策略 ， 

| 法 | 1 


图 7-41 完成 阶段 测试 策略 的 制定 


发 布 阶段 





我 们 还 是 先 来 总 结 一 下 ， 到 目前 为 止 ， 软 件 测试 架构 师 已 经 确定 了 哪些 内 容 : 


-确定 了 测试 设计 策略 ， 通 过 《测试 分 析 设 计 表 》 来 保证 测试 团队 的 测试 设计 都 能 符 
合 测 试 策略 ， 并 确定 了 测试 用 例 的 等 级 。 


-确定 了 各 个 测试 阶段 的 测试 策略 。 


从 7.2 节 开始 ， 我 们 束 没 有 说 明 当 前 的 活动 对 应 的 是 四 步 测试 策略 制定 法 中 的 哪个 步 
又 了 ， 而 是 在 尽量 按照 四 步 测试 策略 制定 法 的 思路 来 组 织 文章 的 内 容 。 


到 目前 为 止 ， 还 没有 进行 产品 测试 ， 这 使 得 我 们 的 测试 策略 多 少 还 是 有 点 儿 “ 纸 上 
谈 兵 ”的 意思 。 进 入 产品 测试 阶段 后 ， 测 试 策略 的 效果 了 立马 就 可 以 通过 缺陷 分 析 呈 
现 出 来 ， 这 时 软件 测试 架构 师 的 工作 模式 将 变 为 图 7-42 所 示 的 样子 。 
制定 本 版 本 测试 策略 
跟 踊 测 试 执行 


质量 评估 制定 下 本 版 本 测试 策略 


跟 踊 测试 执行 


质量 评估 制定 下 本 版 本 测试 策略 





图 7-42 软件 测试 染 构 师 的 工作 模式 


第 8 草 版 本 测试 策略 和 产品 质量 评估 


从 现在 开始 ， 我 们 的 项 目 开始 进入 到 测试 执行 阶段 ， 我 们 的 软件 测试 架构 师 也 要 开 
始 进 入 到 测试 执行 策略 的 工作 中 了 ， 如 图 8-1 所 示 。 


开 1) 定 测试 执行 策略 





系统 工程 师 


需求 规格 
系统 设计 
开发 人 员 | 设计 | 编码 版 本 发 布 和 缺陷 修改 
测试 人 员 总 体 测试 策略 | 阶段 测试 策略 测试 执行 策略 
i | 初次 使 用 | 上 制定 
开 ; 四 步 测试 i 制定 总 体 | 制定 阶段 | 测试 
; 始 ; 策略 | 测试 策略 | 测试 策略 | ”| 执行 ; 
i |! 制定 法 | | 策略/ 
一 一 一 一 一 上 -一 一 -一 = 一 一 一 一 一 一 由 ~ 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 小 ~ 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 < Te 


图 8-1 制定 测试 执行 策略 
8.1 开始 


此 时 软件 测试 架构 师 手 上 应 该 有 一 份 “ 版 本 计划 ”和 “测试 计划 ” ( 分 别 由 开发 人 
员 和 测试 人 员 输 出 ) 。 

有 具体 来 说 ， 此 时 开发 人 员 提 供 的 “版 本 计划 ”应 该 是 针对 集成 开发 阶段 的 功能 集成 
计划 ， 包括 划 分 了 几 个 build、 每 个 build 计 划 合 入 哪些 功能 ， 以 及 每 个 build 需 
开发 集成 的 时 间 。 上 一 章 中 图 7- 38 就 是 一 个 “版 本 计划 ”的 例子 。 


不 过 实际 项 目 中 的 “版 本 计划 ”会 比 这 个 复杂 ， 也 不 会 以 图 的 万 式 来 表述 。 不 过 没 


关系 ， 在 这 里 我 们 能 理解 “版 本 计划 ”的 主要 内 容 束 好 了 。 


“测试 计划 ” 
以 及 每 个 版 本 包含 的 测试 时 间 的 计划 ， 见 表 8-1。 


是 一 个 在 集成 测试 、 系 统 测试 和 验收 测试 分 别 需 


表 8-1 测试 计划 表 


集成 测试 


系统 测试 


验收 测试 


测试 计划 的 时 候 ， 根据 经 验 为 每 个 版 本 估计 一 个 大 概 的 测试 策略 ， 


我 们 将 


CT 
功能 集成 
Ti 
一 能 一 成 


ST 功能 测试 + 非 功 能 测试 


一 一 探索 式 测试 + 回归 测试 








2 测试 + 回归 测试 





TE 


“测试 计划 ”中 也 有 信和 单 的 测试 策略 ， 主 要 用 于 标记 每 个 版 本 的 主要 测试 目标 。 我 
们 倒 不 用 太 纠 结 这 里 的 测试 策略 ， 因 为 对 测试 人 员 和 软件 测试 染 构 师 来 说 ， 在 制订 


测试 多 


少 个 版 本 ， 


工期 
35 从 了 天 
35 人 /天 
和 5 六 六 天 
3 六 洋 


p41 


70 人 /天 
70 人 /天 
晤 江天 
壮大 / 瑟 
35 人 /天 
21 类 /天 


是 很 容易 的 。 


“版 本 计划 ”和 “测试 计划 ”合并 在 一 起 ， 就 得 到 了 我 们 的 研发 计划 全 景 
,如 图 8-2 所 示 。 


产品 发 布 


验收 测试 


集成 开发 和 测试 阶段 系统 测试 阶段 pe 


TT CT ET TT CT EE 


测 | 证 
| 功能 测试 探索 式 测试 | 探索 式 测试 | 场景 


测试 | 得 功能 + 回归 测试 |+ 回归 测试 | 测试 sr 


测试 





图 8-2 研 友 计划 全 景 医 


为 了 便于 我 们 直观 地 了 解 软件 测试 架构 师 在 整个 测试 阶段 的 活动 ， 我 们 在 这 个 研发 
计划 图 上 进行 标记 ， 如 图 8- 3 所 示 。 





验收 测试 阶段 





集成 开发 和 测试 阶段 系统 测试 阶段 


via, | vila | was | Gill | Ganias | | 


功能 
测试 










功能 测试 | 探索 式 测 | 探 索 式 测 
+ 非 功能 | 试 + 回 归 | 试 + 回归 
测试 测试 测试 





场景 回归 
测试 测试 




























































































S2 跟 S3 跟 Al 跟 
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测 测 测 
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策 试 策 试 策 试 
略 | 过 | | 略 | 过 略 | 过 
程 程 程 
集 系 
成 统 产 
测 版 版 版 测 品 
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量 估 估 估 量 评 
评 评 估 
估 估 





























图 8-3 标记 后 的 研 友 计划 图 


忆 的 来 说 ， 软 件 测试 染 构 师 在 测试 阶段 的 工作 ， 其 实 束 是 围绕 图 8-4 所 示 的 几 个 活动 
循环 展开 的 。 


制定 本 版 本 测试 策略 


跟 踊 测试 执行 





发 布 。 
8.2 第 一 个 版 本 测试 策略 


现在 软件 测试 架构 师 要 开始 制定 第 一 个 版 本 测试 策略 了 。 由 于 测试 策略 是 用 来 指导 
该 如 何 进 行 测试 执行 的 ， 测 试 策略 的 内 容 会 很 细 、 很 具体 。 但 是 我 们 依然 可 以 按照 
四 步 测试 策略 制定 法 中 目标 一 风险 一 流程 一 顺序 的 思路 来 制定 版 本 测试 策略 。 


8.2.1 测试 范围 以 及 和 计划 相 比 的 偏差 


在 版 本 测试 策略 中 ， 软 件 测 试 架构 师 首 先 要 明确 的 束 是 测试 范围 。 需 要 注意 的 是 ， 
这 里 的 测试 范围 ， 不 是 指 开发 计划 要 合 入 哪些 功能 ， 而 是 指 开 友 能 够 真正 提交 ， 并 


且 测 试 可 测 的 功能 。 
我 们 还 是 以 俄罗斯 方块 心 项 目的 bui1ld1 为 例 ， 如 图 8-5 所 示 。 
计划 提交 的 功能 实际 提交 的 功能 
| ] -一 | wx 
个 模块 未 完成 ， 
' Es 最 后 提交 的 功 


能 为 : 一 
te ee ee 
> < J/ NV = » py »e 
目 虽然 不 是 


最 终 功能 ， 但 
是 却 不 影响 其 





他 功能 能 的 集成 


图 8-5 俄罗斯 方块 心 项 目的 build1 


此 时 ， 在 build1 中 实际 提交 的 图 形 是 


而 不 是 


。 对 软件 测试 架构 师 来 说 ， 可 以 以 “ 


加 


的 功能 和 设计 不 待 ”为 由 ， 不 接收 测试 。 但 是 对 开 友 人 员 而 言 ， 


四 


图 形 依然 可 以 完成 和 其 他 两 个 图 形 的 功能 集成 ， 他 会 很 不 理解 测试 人 员 的 行为 ， 而 
且 我 相信 这 种 情况 在 项 目 中 并 不 少见 。 


对 此 ， 我 建议 以 “是 否 可 测 ” 来 作为 判断 的 标准 : 


-如果 


四 


对 测试 人 员 而 言 不 可 测 ， 不 接收 测试 。 


-如果 


四 


对 测试 人 员 而 言 可 测 ， 接 收 进行 测试 。 


假设 在 俄罗斯 方块 心 项 目的 build1 中 ， 软 件 测试 以 构 师 通过 评估 ， 接 收 进行 测试 ， 
他 可 以 在 版 本 测试 案 略 中 按 图 8- 6 所 示 这 样 质 述 版 本 的 测试 作 围 和 偏差 。 


1. 测 试 范 围 以 及 和 计划 相 比 的 偶 差 
在 buildl 中 ， 震 要 测试 的 功能 : 


县 围 上 


需要 验证 的 系统 为 : 


车 


要 特别 说 明 的 是 ， 对 功能 一 ， 原 计划 提交 的 是 二 
经 评估 ， 四 不 会 对 十 二 和 二 的 集成 测试 造成 重要 影响 . 


-二 完整 的 功能 将 在 build2 中 提交 . 


图 8-6 版 本 的 测试 范围 和 偏 大 





8.2.2 本 版 本 的 测试 目标 
每 一 个 版 本 测试 策略 都 需要 描述 版 本 的 测试 目标 。 


在 总 体 测试 策略 中 质量 目标 都 是 一 些 指标， 这 样 的 好 处 是 可 衡量 、 可 评估 。 但 是 如 
果 还 是 以 “指标 ”来 作为 版 本 测试 策略 的 测试 目标 ， 残 显得 干巴 巴 的 ， 很 生硬 ， 试 
想 一 下 : 


( 1 ) 需求 覆 善 度 达到 25% ; 


( 2 ) 路 径 履 善 度 达到 26% ; 
( 3 ) 测试 用 例 执 行 率 36% ; 
这 样 的 测试 目标 无 法 起 到 指导 测试 执行 的 作用 。 


相对 来 况 ， 比 较 好 的 摘 述 测试 目标 的 方式 是 : 对 某 个 功能 ( 测试 对 象 ) ， 进 行 哪些 
测试 ( 测试 万 法 ) ， 友 现 产品 哪些 方面 的 缺陷 ( 测试 结果 ) 。 


例如 : 


和 进行 功能 测试 ， 友 现 单 运行 正常 值 和 边界 值 方 面 的 缺陷 。 


> 
二 


( 本 轮 测 试 实际 提交 的 是 


CE 


) 只 进行 基本 功能 的 验证 ， 能 够 保证 与 


的 集成 测试 束 可 以 。 


XI 
c 咯 


进行 测试 ， 友 现 


在 多 运行 方面 的 缺陷 。 


以 测试 对 象 -测试 方法 -测试 结果 这 样 的 方式 来 换 述 测试 目标 的 好 处 是 : 强调 了 这 个 
版 本 测试 的 要 求 ， 比 数字 指标 更 易于 被 测试 团队 理解 和 执行 。 


8.2.3 需要 重点 关注 的 内 容 
软件 测试 架构 师 需要 在 每 个 版 本 测试 策略 中 注 明 哪些 是 需要 大 家 重点 关注 的 内 容 。 


首先 ， 在 版 本 测试 策略 中 ， 需 要 对 提交 的 功能 进行 分 析 ， 提 出 需要 测试 团队 重点 关 
注 的 内 容 。 


其 次 ， 需 要 确定 本 版 本 需要 测试 的 功能 的 优先 级 表 。 


我 们 在 制定 总 体 测 试 策略 的 时 候 ， 已 经 根据 质量 目标 和 风险 为 产品 的 所 有 功能 特性 
确定 了 测试 优先 级 ( 见 7.3.4 节 ) 。 但 是 到 了 实际 测试 执行 的 时 候 ， 特别 是 在 功能 集 
成 开 友 阶段 ， 一 些 功能 特性 可 能 会 被 开 有 友人 员 分 为 几 次 提交 ， 这 融 需 要 软件 测试 以 
构 师 根据 版 本 的 实际 情况 更 新 功能 特性 的 优先 级 ， 并 在 版 本 测试 策略 中 同 测试 团队 
说 明 。 


例如 ， 在 “俄罗斯 方块 , 心 ” 项 目的 忌 体 测试 策略 中 功能 特性 的 优先 级 列表 见 表 8- 
2 ( 为 了 便于 后 文 叙述 ， 我 在 列表 中 加 入 了 “计划 提交 版 本 ”人 列 ) 。 


表 8-2 功能 特性 的 优先 级 列表 


计划 提交 版 本 功能 测试 优先 级 


由 

build2 
Ho 
加 里 

bulld3 
中 


在 版 本 测试 策略 中 ， 由 于 build1 中 的 功能 


HH 


, 实际 提交 的 是 


, 我 们 在 bui1d1 中 仅 对 它 进行 基本 功能 的 验证 测试 ， 因 此 在 build1 中 我 们 可 以 考虑 


的 测试 优先 级 。 这 样 ，build1 的 版 本 测试 策略 ， 提 交 功 能 的 “测试 优先 级 ” 见 表 8- 
3 


表 8-3 测试 优先 级 表 


功能 测试 优先 级 


由 于 息 体 测 试 策略 是 对 严 品 所 有 功能 特性 进行 的 测试 优先 级 排序 ， 到 了 功能 集成 开 
上 友 的 时 候 ， 有 可 能 会 出 现 本 轮 提 交 的 功能 优先 级 差别 很 小 或 一 致 的 情况 。 例 

如 ，“ 俄 罗斯 方块 心 ”项 目的 build3 中 的 两 个 功能 ， 在 忌 体 测 试 策 略 中 的 测试 优先 
级 融 是 一 样 的 。 没 有 差异 的 优先 级 ， 等 于 没有 优先 级 。 因 此 在 制定 版 本 测试 案 略 的 
时 候 ， 也 可 以 根据 实际 情况 对 它们 的 测试 优先 级 进行 调整 。 


我 们 在 版 本 测试 策略 中 确定 功能 特性 的 测试 优先 级 ， 能 够 帮助 我 们 确定 测试 执行 顺 
序 ( 见 8.2.5 节 ) ， 也 使 得 我 们 能 够 基于 测试 优先 级 来 调配 测试 资源 ， 能 够 基于 风险 
进行 测试 。 


8.2.4 测试 用 例 的 选择 
软件 测试 染 构 师 需要 在 版 本 测试 策略 中 指出 在 本 轮 测试 中 需要 如 何 选 择 测试 用 例 。 


我 们 把 测试 用 例 分 等 级 ( level1~level ? 4 ) 后 ， 选 择 测试 用 例 就 变 得 简单 多 了 。 
软件 测试 架构 师 可 以 根据 版 本 的 测试 范围 和 测试 目标 ， 制 定 出 需要 选择 哪些 测试 用 
例 的 策略 ， 如 表 8-4 所 示 。 


表 8-4 选择 测试 用 例 


被 测 对 象 测试 用 例 选 择 策略 
对 一 -一 和 外 功能 选择 levell 中 的 所 有 测试 用 例 和 level2 中 部 分 测试 用 例 
选择 十 - 中 levell 中 的 部 分 测试 用 例 (由 于 未 提交 完 ， 在 下 一 个 build 中 再 对 其 功 
二 四 


能 进行 全 面 测试 ) 


C1) 一 -一 和 中 的 功能 交互 : 选择 由 中 level3 的 部 分 测试 用 例 ; 
(村 十 上 和 H 的 功能 交互 : 选择 [Hh 中 level3 的 部 分 测试 用 例 ; 


(3 Ee 和 站 的 功能 交互 : 选择 中 中 level3 的 部 分 测试 用 例 ; 
(4) 一 -一 En 和 了 的 功能 交互 : 本 轮 不 测试 ， 待 一 - 提交 完成 后 再 测试 


8.2.5 测试 执行 顺序 


在 阶段 测试 策略 中 ， 我 们 也 制定 了 测试 执行 顺序 ， 在 测试 中 先 执行 什么 ， 再 执行 什 
么 ， 对 测试 团队 来 说 已 经 比较 清楚 了 。 但 是 对 一 个 被 测 对 象 而 言 ， 可 能 就 会 很 有 多 
种 符合 阶段 测试 策略 的 测试 执行 顺序 ， 如 图 8-7 所 示 。 


功能 交互 测试 
在 满 规格 下 进 
行 功能 测试 


做 完 配 置 测 试 
后 再 验证 功能 





图 8-7 测试 执行 顺序 

显然 ， 这 些 测试 执行 顺序 适合 的 测试 阶段 、 和 被 测 对 和 象 都 是 不 同 的 。 这 融 需 要 软件 测 
试 染 构 师 在 每 个 版 本 测试 策略 中 ， 确 定 本 版 本 需要 使 用 怎样 的 测试 执行 顺序 。 

需要 特别 注意 的 是 ， 不 同 的 被 测 对 象 ， 在 同一 个 版 本 中 的 测试 执行 怖 序 可 能 会 不 
同 。 这 融 要 求 软 件 测试 以 构 师 ， 对 不 同 的 农 测 对 象 当 前 的 质量 情况 ， 有 比较 好 的 把 
握 能 力 ， 然 后 根据 质量 情况 来 确定 不 同 的 测试 执行 顺序 ， 可 以 遵循 如 下 原则 : 
质量 情况 越 好 ， 融 可 以 考虑 将 更 多 的 测试 方法 组 合 起 来 执行 。 


.对 刚 提 交 的 功能 ， 在 质量 情况 不 好 或 质量 情况 不 明 的 情况 下 ， 不 建议 使 用 组 合 测试 


方法 进行 测试 。 


来 看 一 个 相关 的 示例 ， 见 表 8-5。 


表 8-5 确定 测试 执行 顺序 示例 








被 测 对 象 


/> 一 rs De 人 一 一 
功能 区 | 置 测 试 功能 测试 功能 交互 测试 


测试 执行 顺序 


被 测 对 象 测试 执行 顺序 


实际 值 “目标 值 配置 测试 功能 交互 测试 
功能 满 规格 测试 


在 满 规 
进行 功能 测试 





除 此 之 外 ， 在 版 本 执行 策略 中 再 强调 一 下 阶段 测试 策略 中 的 测试 执行 策略 也 是 有 必 
要 的 : 


先 执行 高 优先 级 特性 的 测试 用 例 ， 再 执行 中 、 低 优先 级 的 测试 用 例 。 
: 先 执行 复杂 的 、 难 的 测试 用 例 ， 表 执行 简单 的 测试 用 例 。 

8.2.6 试探 性 的 测试 策略 一 一 需要 大 家 分 工 合作 的 地 方 

在 测试 的 时 候 ， 我 们 常 弟 会 遇 到 一 些 “ 全 局 因素 ”。 例 如 : 
测试 UI 用 的 浏览 器 。 


:测试 命令 行 用 的 终端 工具 。 


-操作 系统 。 


这 些 全 局 因素 对 被 测试 对 象 究竟 有 多 大 的 影响 ， 谁 都 不 太 容 易 说 清 。 如 果 把 这 些 因 
素 全 面 测试 一 般 ， 测 试 工 作 量 会 呈 指 数 级 增加 ， 如 果 不 测 试 又 总 让 人 萝 得 不 放心 。 
对 这 种 情况 ， 我 们 可 以 “策略 性 ”地 进行 “试探 测试 ” : 


先 将 需要 考虑 的 “全 局 因素 ”随机 分 给 测试 团队 的 每 一 位 成 员 在 测试 执行 时 使 用 。 


然后 通过 缺陷 分 析 ， 分 析 测 试 成 员 友 现 的 缺陷 是 否 和 这 些 全 局 因素 有 天， 关系 有 多 
大 ， 表 来 确定 对 这 些 全 局 因素 需要 怎样 测试 投入 。 


表 8-6 残 是 一 个 在 测试 团队 中 对 终端 工具 分 工 的 例子 。 


表 8-6 终端 工具 分 工 表 


责任 人 SE 
张 三 使 用 Xshell 进行 测试 司 六 使 用 IPOP 进行 测试 
路 员 使 用 SecurityCRT 进行 测试 | 
刘 四 使 用 Putty 进行 测试 











除了 全 局 因素 ， 被 测 对 象 的 一 些 “全 局 性 配置 ”， 看 起 来 和 “功能 ”的 天 系 不 大 的 
内 容 ， 也 可 以 使 用 这 样 的 策略 。 


例如 ， 某 系统 支持 两 种 模式 ( 模式 A 和 模式 B ) ， 这 两 种 模式 都 支持 “功能 1” ，“ 功 
能 1” 在 这 两 种 模式 下 的 表现 都 是 一 样 的 ， 而 且 开 发 人 员 也 建议 “功能 1” 只 在 一 种 
模式 下 测试 束 可 以 了 。 这 时 软件 测试 架构 师 也 可 以 考虑 使 用 这 种 “试探 性 的 测试 策 
略 ” ( 不 是 我 们 不 相信 开发 人 员 和 设计 人 人员， 而 是 系统 组 合 后 的 复杂 性 可 能 会 远 远 


超过 我 们 的 预期 ) ， 让 不 同 的 测试 责任 人 分 别 在 不 同 的 模式 下 测试 “功能 1”， 匈 表 
8-7。 
表 8-7 不 同 测试 责任 人 在 不 同 模式 下 测试 功能 1 


责任 人 


张 三 





很 多 时 候 一 个 测试 者 要 负责 多 个 特性 ， 这 种 情况 下 使 用 试探 性 的 测试 策略 也 是 没有 
问题 的 。 还 是 以 上 面 的 例子 为 例 ， 我们 可 以 考虑 把 “功能 1” 拆 成 几 个 部 分 ， 一 部 分 
功能 在 模式 A 下 执行 ， 一 部 分 功能 在 模式 B 下 执行 。 如 果 这 个 版 本 的 测试 时 间 有 限 ， 
我 们 还 可 以 考虑 将 试探 性 的 测试 策略 跨 版 本 来 进行 ， 见 表 8-8。 


表 8-8 跨 版 本 进行 试探 性 测试 策略 


在 模式 A 下 测试 功能 1 的 levell+ 部 分 level2 的 | 在 模式 B 下 测试 功能 1 的 levell+tlevel3 的 部 分 测 
测试 用 例 试用 例 





8.2.7 接收 测试 策略 


"接收 测试 ”是 指 开发 人 员 将 版 本 转 给 测试 人 员 时 ( 图 8-8 ) ， 测试 人 员 先 对 这 个 版 
本 进行 一 次 测试 ， 确 认 版 本 没有 阻塞 测试 的 问题 ， 能 够 按照 测试 策略 完成 测试 。 


bulldl 


功能 开发 集成 1 集成 测试 1 


集成 测试 1 





图 8-8 版 本 转 给 测试 人 员 


接收 测试 有 两 种 结果 : “通过 ”和 “不 通过 ”。 判 断 阶段 测试 是 否 通过 的 标准 只 有 
一 个 ， 融 是 “是 否 会 阻塞 后 面 的 测试 ”。 接 收 测试 “通过 ”意味 看 测试 能 够 继续 进 
行 ， 而 接收 测试 “不 通过 ”， 并 非 意 味 着 一 定 不 能 继续 测试 一 一 我 们 需要 考虑 是 否 
有 规避 问题 的 方法 。 如 果 存 在 规避 方法， 还 是 建议 继续 测试 。 具 体 如 图 8-9 所 示 。 





开发 修复 后 


重新 出 版 本 





是 否 有 规避 
的 方法 ? 





继续 测试 


图 8-9 接收 测试 示意 图 
说 明 


考虑 到 修改 缺陷 、 制 作 版 本 、 开 发 自 测 、 接 收 测试 的 成 本 ， 还 是 不 要 轻易 做 出 接收 
测试 失败 、 需 要 开 友 人 员 修 复 后 重新 出 版 本 的 决定 。 


“level1” 的 测试 用 例 比较 适合 作为 “接收 测试 ”的 测试 用 例 。 我 们 可 以 从 level1 
的 测试 用 例 中 ， 选 择 测试 团队 1 天 或 半天 的 工作 量 ， 来 作为 接收 测试 用 例 。 


8.2.8 回 拘 


到 目前 为 止 ， 我 们 已 完成 了 第 一 个 版 本 测试 策略 的 制定 。 让 我 们 一 起 来 回顾 一 下 ， 
在 版 本 测试 策略 中 需要 考虑 的 主要 内 容 : 


:测试 范围 和 计划 相 比 的 偏差 。 
:本 版 本 的 测试 目标 。 
需要 重点 关注 的 内 容 。 
:测试 用 例 的 选择 。 
:测试 执 行 顺 序 。 
:试探 性 的 测试 策略 。 

-接收 测试 策略 。 


在 实际 项 目 中 ， 我 们 可 以 将 这 些 内 容 作为 版 本 测试 策略 的 提纲 来 制定 版 本 测试 策 
略 。 不 过 需要 移 透 露 一 下 的 是 ， 这 个 版 本 测试 荣 略 还 不 够 完整 。 当 我 们 讨论 到 8 .5 节 
之 后 ， 我 们 将 会 得 到 一 个 更 为 完整 的 “版 本 测试 策略 ”。 


8.3 跟踪 测试 执行 


制定 好 版 本 测试 荣 略 后 ， 软 件 测 试 架 构 师 接 下 来 要 做 的 事情 残 是 跟踪 测试 执行 ， 如 
8-16 所 示 。 






制定 本 版 本 测试 策略 





质量 评估 制定 下 本 版 本 测试 苹 略 





跟 踊 测试 执行 


质量 评估 制定 下 本 版 本 测试 策略 






图 8-16 跟踪 测试 执行 

软件 测试 架构 师 跟 路 测试 执行 的 目的 有 3 个 : 

"确保 测试 团队 是 按照 测试 策略 来 执行 测试 的 。 

:实时 关注 缺陷 ， 通 过 缺陷 分 析 来 确认 测试 策略 是 否 合适 ， 是 否 需 要 调整 。 
-关注 项 目 中 的 实时 风险 ， 基 于 风险 来 调整 测试 策略 。 

8.3.1 跟踪 测试 用 例 执行 情 ; 


在 版 本 测试 时 ， 很 多 人 都 会 关注 测试 用 例 的 执行 情况 ， 如 测试 经 理 、 项 目 经 理 等 。 
测试 用 例 的 进度 、 测 试用 例 的 结果 ( 包括 测试 用 例 执行 的 通过 率 、 失 败 率 等 ) 是 他 
们 主要 关注 的 内 容 ， 我 们 可 以 使 用 表 8-9~ 表 8-12 所 示 来 收集 和 展示 这 些 信息 。 


表 8-9 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 表 












build1 统计 ( 按 功能 特性 ) 


| | | | 


未 执行 用 例 









ED 





功能 build1 build1 

未 执行 

未 执行 

测试 用 例 3 通过 
不 

i A 

| | 


这 些 表 中 的 信息 对 软件 测试 架构 师 而 言 同样 重要 ， 不 过 和 测试 经 理 、 项 目 经 理 关注 
测试 的 进度 与 结果 不 同 ， 软 件 测试 染 构 师 需要 关注 的 是 测试 团队 能 否 按 照 测 试 策略 
来 执行 测试 。 




















要 确保 测试 团队 是 按照 测试 策略 来 执行 测试 的 ， 需 要 保证 以 下 三 点 : 


:测试 内 容 和 测试 策略 中 确定 的 范围 、 深 度 和 广度 一 致 。 


:测试 执行 的 顺序 和 测试 策略 一 致 。 


计划 测试 的 内 容 能 够 被 顺利 执行 。 


只 要 我 们 选择 的 测试 用 例 和 测试 策略 是 一 怪 的 ， 残 能 保证 第 一 各 。 对 软件 测试 架构 
师 来 说 ， 需 要 在 测试 执行 时 保证 第 二 点 和 第 三 息 。 显 然 这 方面 的 信息 并 不 能 从 表 中 


的 内 容 来 直接 获得 ， 还 需要 软件 测试 架构 师 对 表 中 的 内 容 再 进行 一 些 分 析 和 加 工 。 
1. 测 试 团队 的 测试 执行 顺序 是 否 和 测试 策略 相符 


软件 测试 架构 师 可 以 通过 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 表 和 测试 用 例 执 
行情 况 详 表 来 分 析 测 试 团队 的 测试 执行 顺序 是 否 和 测试 策略 相符 。 


1 ) 测试 团队 是 否 按照 特性 的 优先 级 顺序 来 执行 测试 用 例 


我 们 希望 测试 团队 能 够 按照 版 本 测试 策略 中 测试 优先 级 ， 先 执行 高 优先 级 功能 特性 
的 测试 用 例 ， 再 执行 中 、 低 优先 级 特性 的 测试 用 例 。 


我 们 还 是 以 “俄罗斯 方块 心 ” 项 目的 “build1” 为 例 。 
在 版 本 测试 策略 中 ， 我 们 已 经 为 这 3 个 功能 确定 了 测试 优先 级 ， 见 表 8-13。 


表 8-13 测试 优先 级 





在 测试 执行 时 ， 我 们 希望 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 表 ， 随 着 测试 的 
进行 ， 能 够 呈现 出 图 8-11 所 示 的 测试 执行 趋势 。 









中 
I 
J 
加 
J 
J 


“a ICI 


ma RE 本 | 本 
| | : 二 进度 为 。 国 国 : 济 试 进度 为 100% 





图 8-11 测试 执行 趋势 


我 们 以 和 矩形 框框 中 的 黑色 部 分 来 代表 测试 进度 。 黑 色 填 满 整个 矩形 框 ， 就 代表 测试 


执行 进度 为 168%。 假 设 我 们 每 周 统计 一 次 测试 进度 ,build1 测 试 包含 65 周 。 


我 们 希望 按照 每 个 版 本 统计 的 测试 用 例 的 执行 情况 表 中 ， 优 先 级 高 的 功能 ， 执 行 的 
进度 更 快 。 例 如 ， 上 图 中 ， 第 2 周 “ 高 优先 级 ”功能 


国 硬 四 


, 执行 进度 已 经 达到 了 56%， 到 了 第 4 周 束 已 经 全 部 执行 元 了 。 而 “ 低 优 先 级 ”的 功 


ab 
Be 


出 


在 第 2 周 和 第 4 周 的 执行 进度 分 别 为 25% 和 56%， 相 应 的 “中 优先 级 ”的 功能 


二 


在 第 2 周 和 第 4 周 的 执行 进度 分 别 为 25% 和 75%。 


需要 特别 注意 的 是 ， 按 照 优先 级 来 执行 测试 用 例 ， 不 是 说 我 们 一 开始 束 只 执行 高 优 
先 级 的 测试 用 例 ， 而 不 去 执行 中 、 低 优先 级 的 测试 用 例 。 图 8-12 所 示 的 测试 执行 趋 
势 ， 并 不 是 我 们 想 要 的 。 


bulldl 
1 


1 
- 始 测 试 第 1 周 第 2 周 第 3 周 第 4 周 第 5 周 第 6 周 





ein |] 国 D 

sa [CC 古国 门 大 

ma 亡 了 开本 6 
| | : 沪 汪 进度 为 。 国 国 .证 io 


图 8-12 不 想 要 的 测试 执行 趋势 


我 们 需要 在 测试 刚 开 始 的 时 候 ， 对 每 个 功能 都 执行 一 些 基础 性 的 测试 用 例 ， 以 确认 
这 些 功 能 基本 可 用 ， 不 会 阻塞 后 续 的 测试 。 这 丈 是 在 第 一 幅 趋 势 图 中 ， 在 测试 刚刚 
开始 的 时 候 ( 第 1 周 ) ， 


和 


n 
所 


都 有 测试 进度 ， 且 在 进度 上 没有 明显 的 差异 的 原因 。 
2 ) 测试 团队 是 否 按 照 测试 策略 中 的 测试 方法 、 测 斌 顺序 来 执行 测试 用 例 
我 们 希望 测试 团队 能 够 按照 版 本 测试 策略 中 的 测试 方法 的 执行 顺序 来 进行 测试 。 


例如 ， 版 本 测试 策略 中 某 功能 的 测试 执行 顺序 如 图 8-13 所 示 。 


功能 测试 功 





图 8-13 某 功能 的 测试 执行 顺序 
这 些 测试 方法 对 应 的 测试 用 例 等 级 见 表 8- 14。 
表 8-14 测试 用 例 等 级 
功能 测试 满 规格 测试 level3 


这 样 ， 如 果 测 试 者 按照 测试 策略 中 的 顺序 来 执行 测试 ， 测 试用 例 按照 测试 用 例 等 级 
统计 的 进度 束 应 该 如 图 8-14 所 示 。 


Levell 
Level2 


图 8-14 测试 用 例 等 级 统计 进度 








这 时 软件 测试 架构 师 需 要 对 测试 用 例 执 行情 况 详 表 进行 “加 工 ”， 增 加 一 列 测 试用 
例 等 级 ( level ) ， 见 表 8-15。 


表 8-15 修改 后 的 测试 用 例 执行 情况 详 表 


5 EZ 
i 
测试 用 例 2 未 执行 
测试 用 例 6 Level3 不 执行 
| [| 


然后 再 以 测试 等 级 来 统计 测试 用 例 的 执行 进度 ， 见 表 8-16。 

















表 8-16 以 测试 等 级 来 统计 测试 用 例 的 执行 进度 


功能 执行 进度 执行 进度 
生性 生性 
特性 1 特性 

EE | 


在 实际 项 目 中 ， 涉 及 的 特性 会 比较 多 ， 我 们 可 以 把 版 本 测试 策略 中 有 相同 测试 执行 
顺序 的 特性 放 在 一 起 ， 整 体 统计 ， 见 表 8-17。 











表 8-17 整体 统计 


level4 





2 .被 阻塞 的 测试 用 例 


和 测试 经 理 、 项 目 经 理 一 样 ， 测 试用 例 执行 的 结果 也 是 软件 测试 架构 师 在 测试 执行 
中 需要 重点 关注 的 内 容 。 但 是 对 软件 测试 架构 师 而 言 ， 不 应 该 仅 关 注 “ 通 
过 ”和 “失败 ”的 情况 ， 还 应 该 天 注 测试 结果 为 “阻塞 ”的 测试 用 例 。 


测试 用 例 执行 结果 为 “阻塞 ”， 是 指 测试 用 例 因 开 友 或 者 测试 的 原因 ， 无 法 执行 或 
者 执行 没有 意义 。 这 些 原因 主要 包括 : 


:测试 人 力 不 足 。 

:测试 时 间 不 够 。 

测试 环境 不 具备 ( 包括 测试 工具 、 上 下 行 配合 的 设备 、 软 件 等 ) 。 
:由 于 其 他 缺陷 导致 该 测试 用 例 无 法 执行 。 


对 第 四 种 原因 “由 于 其 他 缺陷 导致 该 测试 用 例 无 法 执行 ”， 一般 是 系统 中 和 中 间 
层 、 底 层 或 公用 模块 相关 的 缺陷 。 


例如 ， 我们 在 


-HF 


中 测试 功能 


让 


。 假 设 我 们 已 知 


i 


存在 缺陷 ( 图 8-15 中 黑色 的 方块 )， 会 使 得 经 过 这 个 小 黑 方 块 的 所 有 测试 用 例 ， 执 
行 结果 均 为 “失败 ”。 这 时 我 们 融 可 以 称 测试 用 例 1 ( 图 8-15 中 的 “1” ) 和 测试 用 
例 2 ( 图 8-15 中 的 “2” ) 被 该 bug 阻 塞 了 。 





图 8-15 bug 阻 塞 


和 测试 执行 结果 为 “失败 ”的 测试 用 例 不 同 ，“ 阻 塞 ” 体 现 了 一 种 未 知性 : 我 们 并 
不 知道 这 些 测 试用 例 最 后 执行 之 后 的 情况 是 什么 。 有 的 朋友 可 能 会 说 ， 如 果 我 们 执 
行 上 例 中 的 “测试 用 例 1” 和 “测试 用 例 2” 测试 执行 结果 不 就 是 “失败 ” 吗 ? 没 


音 ， 但 是 现在 的 问题 是 


国 硬 四 


的 缺陷 使 得 “测试 用 例 1” 和 “测试 用 例 2” 根 本 没有 测试 到 


让 


中 的 代码 ， 即 使 在 这 个 版 本 中 执行 了 “测试 用 例 1” 和 “测试 用 例 2”， 我 们 也 不 知 


道 


+ 


的 功能 是 否 正确 ， 对 我 们 来 说 ， 结 果 依然 是 未 知 的 。 


测试 结果 为 “阻塞 ”意味 着 计划 测试 的 内 容 并 没有 被 顺利 执行 ， 换 句 话说 就 是 测试 
策略 执行 失败 了 。 如 果 在 版 本 的 测试 执行 中 出 现 大 量 的 “阻塞 ”， 残 需要 软件 测试 
架构 师 采 取 应 对 措施 ， 调 整 测试 策略 。 我 们 将 在 8.3.3 节 中 ， 接 着 为 大 家 讨论 相关 的 


内 容 。 
8.3.2 每 日 缺陷 跟踪 


“缺陷 ”是 测试 的 结果 。 对 软件 测试 架构 师 而 言 ， 每 天 跟 中 缺陷 非常 重要 一 一 因为 
他 需要 实时 关注 测试 中 的 这 几 个 问题 ( 图 8-16 ) : 


缺陷 的 趋势 是 否 正 弟 ? 
是否 存在 因为 缺陷 修改 引入 的 缺陷 ? 
在 本 版 本 中 必须 解决 哪些 缺陷 ? 


在 本 版 本 中 需要 解决 哪些 缺陷 ? 


缺陷 列表 
缺陷 好 有 是 否 在 本 版 本 中 必须 


bugl 
正常 Ne 解决 哪些 缺陷 ? 


是 否 存在 因为 > 


busg4 在 本 版 本 中 甫 于 


8 降 己 
缺 i [以 巳 5| 人 得 夹 娜 些 缺陷 9 ! 


的 三 陷 ? 





图 8-16 需要 在 测试 中 关注 的 问题 


N 


些 问题 都 会 影响 后 续 测试 的 执行 ， 软 件 测试 架构 师 可 能 也 需要 因此 来 调整 测试 策 


喜光 


1 .哪些 缺陷 必须 在 本 版 本 中 解决 


在 版 本 测试 中 ， 判 断 “ 哪 些 缺陷 必须 在 本 版 本 中 解决 ”的 标准 只 有 一 个 ， 束 是 “会 
不 会 对 后 续 的 测试 造成 阻塞 "” 


在 上 一 节 我 们 已 讨论 过 “测试 用 例 被 缺陷 阻塞 ”的 问题 。 这 个 概念 并 不 复杂 ， 很 容 
易 讲 清楚 。 但 是 在 实际 项 目 中 ， 需 要 我 们 按照 这 个 标准 来 选择 缺陷 时 ， 却 很 容易 
和 “缺陷 的 严重 性 ”混淆 。 


我 们 在 6.6.2 节 中 曾经 讨论 过 “缺陷 的 严重 程度 ”。 缺 陷 的 严重 程度 是 措 缺 陷 如 果 不 
修改 ， 会 对 用 尸 造 成 的 影响 。 缺 陷 严 重 程度 越 高 ， 修复 它 的 优先 级 应 该 越 高 ,但 

是 “严重 ”或 是 “致命 ”的 缺陷 ， 却 不 一 定 会 让 测试 用 例 友 生 “ 阻 塞 ”， 而 是 无 法 
执行 下 去 。 


我 们 继续 以 8 .3 .1 蔬 中 的 例子 为 例 。 假 设 


是 上 


中 存在 两 个 pug ， 如 图 8-17 所 示 。 





图 8-17 存在 两 个 bug 


假设 对 用 户 来 说 ，“bug1” 的 缺陷 严重 程度 为 “一般” ，“bug2” 为 “严重 ”。 但 
是 “bug1” 会 造成 测试 用 例 1 和 测试 用 例 2“ 阻 塞 ” ，“bug2” 却 不 会 。 


如 果 此 时 我 们 只 能 修复 1 个 缺陷 ， 你 会 选择 修复 哪个 ? 我们 需要 修复 “bug1”。 这 是 
因为 ，bug2 要 到 产品 友 布 阶段 了 ， 且 这 个 bug 还 没有 被 修复 ， 才 会 造成 “严重 ”的 
影响 ， 而 bug1 如 果 不 修复 ， 下 个 版 本 还 是 不 能 测试 用 例 1 和 用 例 2 ， 


让 


功能 依然 无 法 测 坛 ， 对 测试 而 言 ， 影 响 融 已 经 是 “严重 ”了 。 


对 本 例 来 说 ，“bug1” 束 是 一 个 必须 在 本 版 本 中 解决 的 缺陷 。 软 件 测试 染 构 师 在 版 


本 测试 过 程 中 的 重要 工作 之 一 ， 融 是 找 出 这 些 缺 陷 ， 然 后 让 开 友 人 员 尽 快 解决 这 些 
缺陷 ， 以 保证 测试 能 够 顺利 进行 。 


需要 我 们 记 住 的 是 ， 和 开发 新 功能 相 比 ， 修 复 对 测试 有 阻塞 的 缺陷 的 优先 级 应 该 更 
高 。 这 是 因为 “对 测试 有 阻塞 的 缺陷 ”意味 着 测试 并 没有 完成 本 版 本 中 功能 的 验 
证 ,被 “阻塞 ”部 分 的 功能 质量 是 未 知 的 。 这 时 即便 我 们 开发 出 了 新 的 功能 ， 集 成 
的 时 候 ， 也 会 像 在 没有 打 夺 的 地 基 上 继续 建造 房子 ， 大 大 增加 了 集成 失败 的 风险 。 
但 遗憾 的 是 ， 并 不 是 所 有 的 开 有 友人 员 在 项 目 中 都 能 意识 到 这 点 ， 且 很 容易 将 这 两 者 
的 优先 级 反 过 来 。 这 束 需 要 软件 测试 染 构 师 和 开 友 人 员 做 好 沟通 ， 统 一 思想 。 


2 .哪些 缺陷 需要 在 本 版 本 中 解决 


需要 在 本 版 本 中 解决 的 缺陷 是 指 我 们 希望 在 本 版 本 中 修复 的 缺陷 。 显 然 需 要 在 本 版 
本 中 解决 的 缺陷 ， 包含 了 上 一 节 我 们 讨论 的 必须 在 本 版 本 中 解决 的 缺陷 。 图 8-18 忆 
结 了 这 几 个 概念 之 间 的 天 系 。 


本 版 本 中 本 版 本 中 \ 系统 中 阐 


必须 解决 需要 解决 未 解决 的 
的 缺陷 的 缺陷 所 有 缺陷 





图 8-18 几 个 概念 之 间 的 关系 


损 句 话说 ， 除 了 那些 在 版 本 中 必须 解决 的 缺陷 外 ， 我 们 还 需要 根据 缺陷 的 严重 性 和 
缺陷 的 修改 情况 来 选择 一 些 缺 陷 ， 在 本 版 本 中 优先 解决 : 


-缺陷 的 改动 越 大 ， 越 需要 尽早 解决 。 

如果 缺陷 涉及 需求 、 方 案 、 设 计 ， 需 要 尽早 解决 。 

优先 解决 缺陷 严重 程度 为 “致命 ”和 “严重 ”的 缺陷 。 
综合 这 些 内 容 ， 束 构成 了 我 们 需要 在 本 版 本 中 解决 的 所 有 缺陷 。 


我 们 还 是 以 “俄罗斯 方块 心 ”项 目 为 例 。 假 设 在 build1 中 一 共 友 现 15 个 缺陷 ， 这 些 
缺陷 的 情况 见 表 8-18。 


表 8-18 bui1d1 中 的 15 个 缺陷 


是 否 会 阻塞 测试 | 缺陷 严重 程度 | 缺陷 修改 情况 是 否 会 阻塞 测试 | 缺陷 严重 程度 | 缺陷 修改 情况 
严重 


bug3 


bug4 


个 
股 bugll ` 会 - 般 修改 复杂 
| 会。 | 严重 | 修改 复杂 | osgn 会 修改 复杂 
bug5 致命 ` 会 改动 一 般 
bug6 修改 复杂 bugl14 ` 会 2 改动 一 般 
bug7 改动 一 般 bug15 ` 会 改动 一 般 


假设 在 这 个 版 本 中 ， 开 友人 员 有 能 力 可 以 修复 16 个 缺陷 。 其 
中 “bug1”“bug3” 和 “bug4” 会 阻塞 测 坛 ， 为 必须 解决 的 缺陷 。 剩 下 的 缺陷 ， 我 
们 根据 缺陷 的 严重 程度 、 缺 陷 的 修改 情况 来 排序 ， 最 后 选择 


了 “bug2” “bug5” “bug6” “bug8” 和 “bug9” 需 要 在 bui1d1 中 解决 ， 如 图 8 - 
19 所 示 。 











一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 PP 王 一 一 一 一 一 一 一 一 一 一 一 一 一” 王 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


天 王 试 有 了 用 】 其 Ts ) 革 攻 严 生 ) | 城防 严 

4 上 上 计划 在 buildl 中 ; ; 系统 尚未 解决 的 ; | FE I 
! Rs ’ ! ! nD [ ! | 所 一 上- 络 | 一 1 呵 ! ! Rs = 
| 决 的 缺陷 “| | 有 名 隐 上 二 改动 一 般 让 改动 一 般 


-7 


ibug10| - 般 | 


ee 


:bugl1! ! 一 般 


1 rr YE 1 1 上 ,机 rpAz ME 11 fz YE 区 | 1 rz YE 1 
| 等 由 缺 陷 严 重 上 上 缺陷 严重 | 
1 . 洲 1 1 Ar J - 记 - | 3 11 A yy 1 A 1 
| 级 非常 吊 | 本 由 | ! 等 级 高 和 9 | ! 级 高 9 涉 及 | | 于 4 - 股 . | | 竺 级 低 | 
| 改动 一 般 | 上 修改 复杂 | | 需求 更 改 修改 复杂 | | 改动 一 般 | 


图 8-19 需 在 build1 中 解决 的 缺陷 


3 .缺陷 趋势 是 否 正常 





缺陷 趋势 是 软件 测试 以 构 师 在 测试 过 程 中 需要 天 注 的 内 容 。 在 6.6.3 世 中 ， 我 们 已 经 


详细 叙述 过 “缺陷 趋势 分 析 ” 技 术 ， 讨 论 过 缺陷 趋势 曲线 的 凹凸 性 和 拐点 以 及 缺陷 
否 收敛。 在 测试 过 程 中 ， 需 要 我 们 主要 关注 的 是 标 积 发 现 的 缺陷 趋势 曲线 ， 关 注 

缺陷 的 走向 是 否 正常 。 

1 ) 预 估 “拐点 ”会 在 哪个 版 本 出 现 

在 6.6.3 节 中 讨论 过 理想 的 累积 发 现 的 缺陷 趋势 曲线 ( 图 6-14 ) 。 在 图 6-14 中 ,我 

们 是 以 测试 阶段 为 单位 来 讨论 的 ， 实 际 上 ， 每 个 测试 阶段 都 会 包含 一 个 或 者 多 个 测 

试 版 本 ， 在 版 本 测试 时 ， 预 估 在 哪个 版 本 会 出 现 拐 点 ， 才 比较 符合 我 们 的 测试 策 

略 ， 是 我 们 需要 分 析 的 第 一 个 问题 。 


我 们 移 来 回顾 一 下 “拐点 ”的 意义 。 


在 测试 策略 不 变 的 情况 下 ， 出现 拐点 ， 说明 当前 的 测试 方法 已 经 不 能 有 效 去 除 系统 
的 缺陷 ， 当 前 的 测试 可 以 按照 计划 结束 ， 进 入 下 一 阶段 的 测试 。 


测试 策略 不 变 ， 说 明 测 试 对 象 和 测试 万 法 并 不 会 友 生变 化 ， 我 们 可 以 理解 为 : 


:测试 方法 不 变 ， 但 是 测试 对 象 不 同 ， 也 不 应 该 出 现 拐 后 。 


按照 上 述 原则 ,我们 对 “俄罗斯 方块 心 ”项 目 ， 各 个 测试 阶段 和 每 个 阶段 中 的 测试 
版 本 ( “俄罗斯 方块 心 ” 的 项 目 计 划 ， 见 8.1 节 ) 预 估 缺 陷 趋 势 图 ， 如 图 8-26 所 


何 \。 
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测试 阶段 1 测试 阶段 2 测试 时 间 
图 8-28 预 估 缺陷 趋势 图 
分 析 : 


.在 集成 开发 和 测试 阶段 ， build1~buil1d4 都 会 有 新 的 功能 合 入 ， 而 且 随 着 功能 的 不 
断 集 成 ， 系 统 越 来 越 完 整 和 复杂 ， 测 试 方法 也 会 从 单 功能 测试 ， 逐 步 转换 为 单 功能 
+ 多 功能 测试 ， 所 以 在 build1~bui1ld4 阶 段 ， 不 应 该 出 现 拐点 。 


:build5 是 一 个 回归 测试 版 本 ， 此 时 没有 合 入 新 的 功能 ， 测 试 方法 和 build1~bui1ld4 
相 比 ， 也 没有 发 生变 化 ， 所 以 集成 开发 和 测试 阶段 的 拐点 ( 图 8-26 中 的 “拐点 1” ) 
应 该 出 现在 build5 比 较 合适 


-在 系统 测试 阶段 ，ST1 虽 然 也 是 功能 测试 ， 被 测 对 象 也 没有 友 生 变化 ， 但 是 sT1 在 测 
试 执行 顺序 、 功 能 测试 的 复杂 度 上 都 会 与 集成 开 友 和 测试 阶段 有 所 不 同 ， 所 以 进入 
ST1 阶 段 应 该 会 比较 快速 地 出 现 一 个 拐点 ( 图 8-26 中 的 “拐点 2” ) ， 开 始 又 能 大 量 
发 现 系 统 的 问题 。 


'ST2 的 测试 方法 和 ST1 的 测试 方法 不 同 ， 不 应 访 出 现 拐点 。 


'ST3 和 ST4 都 是 探索 了 式 测 降 和 回归 测试 ， 下 一 个 拐点 ( 图 8-26 中 的 “拐点 3” ) 应 该 
出 现在 ST3 后 期 或 者 ST4 初 期 比较 合适 。 


:进入 验收 测试 阶段 后 ， 由 于 AT1 的 测试 方法 发 生 了 变化 ， 应 该 很 快 会 出 现 一 个 新 拐 
点 ( 图 8-26 中 的 “拐点 4” ) ， 但 是 这 种 缺陷 上 升 的 趋势 不 应 该 持续 太 久 ( 毕竟 我 们 
已 经 经 过 了 大 量 的 测试 ， 如 果 在 验收 测试 阶段 还 能 发 现 大 量 的 问题 ， 是 非常 不 符合 
预期 的 ) ， 在 AT1 后 期 或 在 AT2 前 期 就 应 该 出 现 拐点 ( 图 8-26 中 的 “拐点 5” ) 。 


2 ) 判断 当前 版 本 的 缺陷 趋势 是 否 正 弟 


当 我 们 对 缺陷 趋势 已 经 做 到 心中 有 数 后 ， 判断 当前 版 本 的 缺陷 趋势 是 否 正常 束 变 得 
异 贡 简单 了 一 一 我 们 可 以 将 其 简化 为 “判断 拐点 的 出 现 是 否 过 早 或 过 晚 ”。 


我 们 还 是 以 “俄罗斯 方块 心 ”项 目的 集成 开 友 测试 阶段 为 例 ， 如 图 8- 21 所 示 。 
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拐点 出 现 | 


得 太 早 | 


测试 阶段 1 测试 时 间 


mm 
mr hr 
™— 


‘ 
E 
4 


图 8-21 集成 开发 测试 阶段 


“缺陷 趋势 1” ( 图 8-21 中 加 粗 ， 并 标注 了 “1” 的 那 条 缺陷 趋势 曲线 ) 是 我 们 期 望 
的 缺陷 趋势 。 


和 “缺陷 趋势 1” 相 比 ，“ 缺 陷 趋 势 2” ( 图 8-21 中 标注 了 “2” 的 那 条 缺陷 趋势 曲 
线 ) 的 拐点 出 现 得 太 早 ， 从 图 中 可 以 看 到 ， 如果 不 采取 措施 ， 整 个 集成 开 友 和 测试 
阶段 友 现 的 缺陷 束 会 比较 少 ， 为 后 阶段 测试 的 顺利 开展 、 产 品 的 整体 质量 目标 完成 


埋 下 隐患 。 


“缺陷 趋势 3” ( 图 8-21 中 标注 了 “3” 的 那 条 缺陷 趋势 曲线 ) 和 “缺陷 趋势 2” 正 
好 相反 ， 整 个 集成 开发 和 测试 阶段 一 直 没 有 出 现 拐 点 ， 这 说 明 产 品质 量 可 能 不 高 ， 
可 能 还 有 一 些 应 该 在 集成 开 友 和 测试 阶段 友 现 的 缺陷 还 没有 被 友 现 。 这 时 如 果 章 草 
地 进入 后 阶段 的 测试 ， 同 样 也 会 为 后 面 测试 的 顺利 开展 、 产 品 的 整体 质量 目标 完成 
埋 下 隐患 。 


有 时 候 在 版 本 测试 快要 结束 的 时 候 ， 友 现 的 缺陷 会 呈现 减少 的 趋势 ， 也 会 出 现 拐 

点 ， 这 可 能 是 因为 到 了 版 本 测试 后 期 ， 测 试用 例 已 经 执行 得 差不多 ， 测 试 投入 减少 

造成 的 ; 或 者 是 当前 合 入 的 功能 确实 已 经 不 能 发 现 缺陷 ， 但 是 到 了 下 一 个 版 本 开 

始 ， 友 现 缺陷 的 趋势 又 会 增加 ， 又 会 出 现 拐点 ， 出 现 这 种 情况 是 正 钊 的 。 需 要 我 们 

警惕 的 是 出 现 上 图 中 的 “缺陷 趋势 2” 的 情况 : 即使 进入 到 了 下 一 个 版 本 的 测试 ， 友 
轧 陷 的 趋势 还 是 无 法 恢复 。 这 后 需 要 软件 测试 染 构 师 在 进行 缺陷 趋势 分 析 时 注 


NO 


E 


串 对 


4. 是 否 存 在 缺陷 修改 引入 缺陷 的 问题 


在 6.6.4 节 叙述 缺陷 年 龄 分 析 时 ， 我 们 讨论 过 缺陷 修改 引入 缺陷 的 问题 。 软 件 测试 习 
构 师 需要 在 版 本 测试 中 ， 对 友 现 的 缺陷 按照 6.6.4 节 中 介绍 的 分 析 方 法 ， 来 确定 是 否 
存在 这 样 的 问题 。 如 果 存 在 这 样 的 问题 ， 也 可 以 按照 6.6.4 节 中 介绍 的 方法 来 采取 相 
应 的 措施 ， 此 处 不 再 鳌 述 。 


8.3.3 调整 测试 策略 


软件 测试 染 构 师 在 测试 过 程 中 跟踪 测试 执行 情况 ， 当 友 现 测试 情况 和 测试 策略 不 符 
时 ， 就 需要 调整 测试 策略 。 


由 于 我 们 会 实时 跟 趴 测试 用 例 的 执行 情况 ， 一 旦 友 现 测试 执行 顺序 和 测试 策略 不 
符 ， 我 们 是 可 以 在 测试 执行 的 过 程 中 及 时 调整 的 ， 所 以 一 般 不 会 出 现 最 后 需要 调整 
测试 策略 的 情况 。 

如 果 在 测试 过 程 中 出 现 少 量 的 “被 阻塞 的 测试 用 例 ”， 我们 只 需 待 这 些 阻塞 测试 的 
问题 解决 后 ， 表 把 这 些 测试 用 例 执行 束 可 以 了 。 但 是 如 果 在 测试 过 程 中 出 现 了 大 量 
的 测试 用 例 阻塞 ， 我 们 束 需 要 考虑 调整 测试 策略 了 。 

我 们 可 以 参考 如 下 思路 来 调整 测试 策略 : 


-被 阻塞 的 测试 用 例 是 属于 几 个 功能 ， 还 是 很 多 功能 ? 如 果 被 阻塞 的 功能 很 多 ， 需 
考虑 是 否 提 前 结束 测试 。 如 果 涉 及 的 功能 较 少 ， 一 般 通 过 调整 版 本 测试 中 需要 执行 
的 测试 用 例 来 调整 测试 策略 即 可 。 


对 存在 阻塞 的 功能 ， 那 些 原 计划 不 在 本 版 本 中 测试 的 用 例 ， 是否 可 以 调整 到 本 版 本 
中 测试 ? 


对 没有 阻塞 的 功能 ， 那 些 原 计划 不 在 本 版 本 中 测试 的 用 例 ， 是否 可 以 调整 到 本 版 本 
中 测试 ? 


我 们 还 是 以 “俄罗斯 方块 心 ”项 目 为 例 ， 假设 在 build1 中 ， 功 能 


全 
忆 


的 测试 用 例 执行 情况 和 缺陷 发 现 情况 见 表 8-19。 


表 8-19 测试 用 例 执行 情况 和 缺陷 发 现 情 ; 
测试 用 例 “|Build1 是 否 | 。 测试 结果 测试 结果 
阻塞 


测试 用 例 7 | 
通过 试用 人 8 | 需要 的 行 阻塞 
失败 (发现 bugl ) 测试 用 例 9 | 需要 执行 失败 (发现 bug3 ) 
f 


失败 (发现 bug2 ) 测试 用 伤 需要 执行 通过 


测试 用 例 1 
测试 用 例 1 


假设 本 例 中 的 测试 用 例 7 和 测试 用 例 8 被 测试 用 例 3 友 现 的 bug1 阻 塞 。 由 于 被 阻塞 的 
测试 用 例 7 和 测试 用 例 8 只 影响 了 功能 























, 所 以 我 们 不 打算 提前 结束 测试 ， 而 是 主要 通过 调整 测试 用 例 的 方式 来 调整 测试 策 
略 。 


接 下 来 我 们 看 看 在 功能 


中 ， 原 计划 不 执行 的 测试 用 例 11 和 测试 用 例 12 能 不 能 调整 到 本 版 本 中 来 执行 。 假 设 
通过 评估 ， 测 试用 例 11 和 测试 用 例 12 无 法 在 build1 中 执行 。 


我 们 再 来 看 功能 


国 硬 四 


中 ， 原 计划 不 执行 的 测试 用 例 5 和 测试 用 例 6 是 个 能 够 调整 到 本 版 本 中 来 执行 。 假 设 
通过 评估 ， 结 果 是 测试 用 例 5 和 测试 用 例 6 都 可 以 在 build1i 中 执行 ， 这 样 更 新 后 的 测 
试 策 略 见 表 8- 26。 


表 8-26 更 新 后 的 测试 策略 


Build1 下 有 
测试 结 
测试 用 例 则 试 结果 


则 试用 例 7 | 需要 | I 阻塞 
通过 测试 用 例 8 需要 执行 阻 赛 
类 败 (发 现 bug1 ) 测试 用 例 9 | 需要 执行 | 失败 (发 现 bug3) 


| 测试 用 例 1 | 

由 i 

测 |i BE 政 

需要 执行 | 失败 (发 现 bug2 ) 测 -二 需 可 si 通过 























如 果 我 们 在 进行 缺陷 跟踪 的 时 候 ， 友 现 缺陷 趋势 不 符合 预期 ， 我 们 还 是 以 8 .3 .2 节 中 
图 8-21 所 示 为 例 ， 来 进行 说 明 : 


-如果 拐点 出 现 得 太 早 : 如 果 缺 陷 趋 势 的 拐点 出 现 得 太 早 ( 图 8-21 中 的 曲线 2 ) ， 这 
说 明 当 前 的 测试 方法 已 经 不 能 有 效 地 友 现 缺陷 了 。 这 时 我 们 需要 先 分 析 是 否 是 “ 测 
试 阻 塞 ”造成 的 。 如 果 是 “测试 阻塞 ”的 原因 ， 我 们 可 以 按照 前 面 叙 述 的 调整 测试 
用 例 的 万 法 ， 达 到 让 缺陷 趋势 变 “ 凹 ”的 效果 。 如 果 不 是 “测试 阻塞 ”造成 的 ， 我 
们 可 以 通过 改变 测试 方法 、 增 加 探索 测试 等 方式 来 调整 测试 策略 。 


-如果 一 直 未 出 现 拐点 : 如 果 缺 陷 趋 势 一 直 未 出现 拐点 ( 图 8-21 中 的 曲线 3 ) ， 这 说 
明 按 照 当前 的 测试 方法 还 能 有 效 友 现 缺陷 。 尽 管 按 照 计 划 ， 我 们 需要 进入 下 一 个 阶 
段 的 测试 ， 但 是 缺陷 趋势 却 “ 上 暗示” 我 们 现在 可 能 还 不 是 时 候 。 在 这 种 情况 下 


种 测试 策略 调整 的 方法 是 ， 表 增加 1~2 轮 回归 测试 + 探索 式 测试 ， 在 进入 下 一 阶段 之 

前 再 去 除 一 下 系统 中 的 缺陷 ， 使 得 拐点 出 现 。 不 过 这 种 方法 看 起 来 增加 了 测试 的 时 

间 ， 延长 了 项 目 周 期 ， 项目 经 理 可 能 不 会 轻易 同意 ， 所 以 大 多 数 情 况 下 我 们 可 能 会 

采取 比较 折 中 的 办 法 ， 还 是 进入 下 一 阶段 ， 但 要 在 下 一 阶段 开始 的 1~2 个 版 本 中 ， 增 
加 一 些 和 上 一 阶段 测试 相关 的 探索 了 式 测 试 。 


除 此 之 外 ， 需 求 、 设 计 、 组 织 和 人 、 流 程 等 因素 ， 包 括 一 些 突 帮 情况 ， 都 有 可 能 会 
影响 测试 执行 ， 这 区 需要 我 们 在 测试 过 程 中 进行 风险 识别 ( 可 以 参考 6.7.1 节 中 
的 “风险 识别 清单 ”来 进行 风险 识别 ) ， 然 后 根据 进行 风险 来 调整 测试 策略 。 


8-22 总 结 了 在 测试 过 程 中 调整 测试 策略 的 整体 思路 。 


调整 测试 策略 
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合 
无 须 调整 测 


试 策略 








基于 具体 的 风险 来 
调整 测试 策略 





图 8-22 调整 测试 策略 的 整体 思 


8.4 版 本 质量 评估 


版 本 测试 结束 后 ， 在 进行 下 个 版 本 测试 之 前 ， 软 件 测试 架构 师 需要 停 一 下 ， 对 版 本 


的 测试 情况 进行 忌 结 回顾 ， 对 版 本 进行 质量 评估 ， 如 图 8-23 所 示 。 





制定 本 版 本 测试 策略 


跟 踊 测试 执行 


errr . 








制定 下 本 版 本 测试 策略 
跟踪 测试 执行 


质量 评估 制定 下 本 版 本 测试 策略 






图 8-23 版 本 质量 评估 

如 果 我 们 把 质量 评估 看 成 是 一 把 衡量 产品 质量 的 尺子 ， 版 本 质量 评估 就 是 在 每 轮 版 
本 测试 结束 的 时 候 都 来 量 一 量 产品 的 质量 ， 看 看 产品 当前 的 质量 如 何 ， 看 看 能 
在 计划 测试 结束 的 时 候 达 到 产品 的 质量 目标 ， 如 图 8-24 所 示 。 


产品 发 布 由 
集成 开发 和 测试 阶段 系统 测试 阶段 验收 测试 阶段 





以 “俄罗斯 方块 心 ”项 目 来 说 ， 假 如 我 们 希望 它 在 发 布 的 时 候 ，“ 质 量 ” 能 够 

到 “天 品质 量 尺 ”的 15 厘 米 处 的 高 度 ， 那 么 我 们 在 每 个 版 本 结束 的 时 候 ， 我 们 都 
去 “ 量 ” 一 下 它 当前 的 “质量 高 度 ” 达 到 了 多 少 厘米 ( 如 在 bui1d2 的 时 候 达 到 了 3 
厘米 ， 在 build3 的 时 候 达 到 了 7 厘米 ) ， 判 断 当 前 的 “质量 高 度 ” 是 否 达 到 了 我 们 
的 预期 ， 如 果 没有 达到 预期 ， 残 需要 我 们 及 时 调整 测试 策略 。 


8.4.1 使 用 软件 产品 质量 评估 模型 来 进行 质量 评估 


此 时 软件 测试 架构 师 可 以 使 用 前 面 介 绍 过 的 软件 产品 质量 评估 模型 ( 详 见 6.3.2 节 ) 
来 进行 版 本 质量 评估 。 为 了 便于 下 文 叙述 ， 我 们 对 这 个 质量 评估 模型 进行 复制 ， 如 
图 8-25 所 示 。 


但 由 于 版 本 质量 评估 的 评估 对 象 是 版 本 ， 我 们 的 评估 方法 和 关注 重点 还 是 会 与 阶段 
的 质量 评估 或 友 布 时 的 质量 评估 有 所 不 同 。 


测试 覆盖 度 评估 


路 径 覆 兰 度 分 析 
测试 用 例 分 析 


测试 方法 分 析 





测试 过 程 评估 
缺陷 密度 分 析 


测试 投入 分 析 


缺陷 密度 分 析 





缺陷 分 析 缺陷 趋势 分 析 


缺陷 年 龄 分 析 





屿 陷 触 发 因 双 分 析 


图 8-25 复制 质量 评估 模型 


1 .在 版 本 质量 评估 中 记录 需求 和 实现 的 偏差 


对 版 本 质量 评估 而 言 ， 可 能 我 们 还 无 法 进行 全 面 测 试 覆 基 度 方面 的 评估 。 但 在 版 本 


质量 评估 时 ， 、 记 录 该 版 本 的 需求 实现 情况 ， 特 别 是 需求 和 实现 的 仿 差 是 很 有 
必要 的 。 


在 8.2.1 节 中 ， 我们 曾经 提 过 要 注意 开发 实际 提交 的 功能 和 计划 提交 的 功能 有 偏差 的 
情况 ， 如 图 8-26 所 示 。 


计划 提交 的 功能 实际 提交 的 功能 


Poo i 





rH 能 有 个 
模块 未 完成 


最 后 提交 的 功 
能 为 : 


各 me me ee mo me eT| 


计划 集成 后 的 系统 实际 集成 后 的 系统 
加 虽然 不 是 天 已 


最 终 功 能 ， 但 
| 是 却 不 影响 其 
他 功能 的 集成 


图 8-26 功能 有 偏差 的 情况 


我 们 往往 会 友 现 ， 除 了 这 些 在 测试 之 前 束 能 友 现 的 偏差 之 外 ， 还 有 很 多 偏差 是 在 测 
试 过 程 才能 逐渐 被 发 现 的 ， 如 : 


( 1 ) 需求 理解 方 的 错误 导致 功能 实现 上 的 错误 。 例 如 ， 需求 文档 中 对 应 的 功能 


i 


, 在 开发 过 程 中 被 开发 为 


时 


, 如 图 8-27 所 示 。 


我 们 很 难 在 测试 之 前 殊 知 道 系 统 中 存在 这 样 的 错误 一 一 事实 上 ， 出 现 这 样 的 间 题 ， 
往往 是 开 友 人 员 对 需求 的 理解 出 现 了 偏差 ; 或 是 需求 文档 在 描述 这 部 分 的 时 候 没 
说 清楚 ， 导 人 致 开 友 人 员 的 实现 和 测试 人 员 理 解 的 需求 存在 了 分 上 收 。 


( 2 ) 因为 种 种 原因 ， 该 功能 对 应 的 需求 并 没有 提交 完 ， 如 图 8-28 所 示 。 


需求 文档 中 的 功能 开发 实际 提交 的 功能 


和 mr mr me mr mm 


功能 对 应 的 需求 


1 下 1 
1 1 1 
1 1 1 
1 1 1 
1 1 日 和 1 
1 1 “HH 元 六 1 
i 五 >! 未 换文 元 | 
1 1 1 
1 1 1 
1 1 1 
1 i 1 
1 i 1 
1 i 1 
1 1 1 
1 1 1 
安 |R _ EEE 涉 日 二 = 

图 8-28 需求 未 提交 完 


未 提交 完 的 原因 可 能 束 是 开发 人 员 蕊 记 开发 某 些 模块 了 ; 或 是 需求 描述 得 不 够 细 


致 ， 开 友人 员 认 为 开 友 完了 ， 但 实际 上 出 现 了 遗漏 。 


无 论 是 上 述 哪 种 情况 ， 这 些 问 题 都 只 有 在 测试 过 程 中 才 会 被 逐渐 友 现 。 当 然 ， 这 些 
问题 在 测试 过 程 中 都 可 以 算 作 缺 陷 ， 一 旦 发现 可 以 通过 bug 报告 来 记录 和 跟踪 。 但 即 
使 我 们 对 这 类 问题 都 提交 了 缺陷 报告 ， 这些 缺 陷 往 往 由 于 不 是 当前 版 最 崇 急 、 必 须 
解决 的 缺陷 ， 而 很 容易 被 搁置 下 来 ， 然 后 就 被 大 家 遗忘 了 。 直 到 这 些 问题 变 得 严重 
影响 后 续 功 能 的 集成 ， 或 是 到 了 产品 要 友 布 的 时 候 ， 我们 才 友 现 一 些 看 起 来 “ 细 校 
末节 ”的 功能 模块 还 没有 被 开 友 。 我 们 才 去 解决 它们 ， 这 时 很 容易 让 项 目 变 得 不 可 
控 ， 增 加 项 目 延 期 或 者 质量 不 能 达标 的 风险 。 


因此 ， 对 软件 测试 架构 师 而 言 ， 在 版 本 质量 评估 时 对 这 类 问题 再 进行 梳理 是 非常 有 
必要 的 一 一 如 果 我 们 已 经 要 求 我 们 的 团队 成 员 在 出 现 这 类 问题 的 时 候 ， 提 交 bug 报 
告 ， 我 们 残 只 需要 将 这 类 问题 从 bug 报 告 中 往 选 出 来 ， 并 定期 跟 路 这 些 bug， 关 注 它 
们 的 修复 计划 融 可 以 了 。 对 那些 开 友 人 员 和 测试 人 员 争 议 较 大 、 需 要 sE 再 进行 澄清 
的 需求 ， 我 们 也 需要 进行 记录 ( 至 少 需要 记录 当前 的 进展 ) ， 以 便 我 们 在 结论 确定 
后 ， 第 一 时 间 知 道 该 如 何 进 行 下 一 步 的 处 理 。 





忆 的 来 说 ， 在 版 本 质量 评估 时 ， 需求 实现 情况 应 该 包含 的 内 容 如 图 8-29 所 示 。 


由 开发 人 员 提 供 的 实际 
是 交 的 功能 和 需求 的 偏差 
与 此 相关 的 bug 列表 
在 测试 过 程 发 现 的 实际 


功能 和 需求 的 偏差 开发 人 员 、 测 试 人 员 和 
SE 上 骨 次 进行 需求 港 清 的 
进展 、 结 论 、 后 续 云 





图 8- 29 需求 实现 情况 包含 的 内 容 
举例 : “俄罗斯 方块 心 ”项 目 bui1d1 版 本 质量 评估 示例 
在 “俄罗斯 方块 心 ”build1 中 ， 需 求 和 功能 实现 的 仿 关 为 : 


(1 ) 功能 


加 


在 build1 提 交 时 为 


四 


完整 的 功能 将 在 bui1d2 中 提交 。 


(2 ) 功能 


的 需求 未 完全 开 友 完 ， 详 见 bug66632、bug66635。 


( 3 ) 开 友 人 员 和 测试 人 员 对 


国 硬 四 


的 需求 实现 存在 争议 ( 开 友 人 员 实 际 开 友 的 功能 大 


呈 


) ， 经 过 sE 对 此 功能 需求 进行 再 次 澄清 后 ， 发 现 是 开 友 人 员 在 需求 理解 上 人 存在 一 些 
误解 ， 需 要 在 bui1d2 中 更 新 此 功能 ， 详 见 bug66647。 


Co] 


注意 ， 例 子 中 的 bug 编 号 均 为 示意 。 
2 .在 版 本 质量 评估 中 进行 测试 过 程 评估 


实际 上 ， 我 们 在 跟 趴 测试 执行 的 过 程 中 ， 已 经 对 测试 过 程 ， 包 括 测试 用 例 、 测 试 方 
法 和 测试 投入 进行 了 跟 蹊 分析 ， 在 版 本 质量 评估 时 ， 我 们 可 以 对 版 本 的 “测试 过 

程 ”再 进行 回顾 ， 总 结 经 验 教 训 。 除 此 之 外 ， 在 版 本 质量 评 佑 中， 还 有 一 项 重要 工 
, 束 是 对 多 个 版 本 的 测试 用 例 执行 情况 进行 分 析 。 整 个 测试 过 程 分 析 如 图 8- 36 所 


但 


本 | 
了 一 
oo 


总 结 哪些 测试 方法 


测试 方法 回顾 
1 人 全 、 RE 
比较 有 效 


计划 测试 用 例 是 否 





测试 投入 回顾 


执行 完了 


ij 应 Go nine 
测试 首次 和 累积 通过 率 ) 


测试 用 例 在 多 个 版 本 中 








的 执行 结果 分 析 


图 8-38 测试 过 程 分 析 
1 ) 测试 用 例 的 通过 率 


率 和 过 积 


dl 
函 
过 
贡 


在 版 本 质量 评估 时 ， 我 们 可 以 对 测试 用 例 首次 执行 通过 率 、 昧 积 执 
执行 率 进行 统计 ， 见 表 8-21。 


表 8-21 测试 用 例 通 过 率 统计 结果 





特性 ”测试 用 例 数 。” | 测试 用 例 首次 执行 通过 率 | 测试 用 例 累积 执行 通过 率 | 测试 用 例 累积 执行 率 
特性 1 
特性 2 
特性 3 


测试 用 例 首 次 执行 通过 率 、 累 积 执行 通过 率 和 累积 执行 率 都 是 我 们 质量 目标 中 的 质 
量 指标 。 但 很 多 朋友 并 不 认为 质量 指标 能 够 对 质量 进行 有 效 的 评估 。 


对 此 ， 我 的 观点 是 质量 指标 是 人 否 有 效 ， 和 我 们 在 何 时 进行 评估 、 评 估 对 象 的 粒度 、 
评估 的 目的 息息相关 。 如 果 我 们 只 是 在 版 本 友 布 的 时 候 、 在 系统 的 层面 来 统计 各 种 
质量 指标 ， 据 此 给 出 产品 能 否 发 布 的 结论 ， 确 实 不 能 让 人 信服 。 但 如 果 我 们 能 够 在 
每 个 版 本 都 统计 相关 的 质量 指标 ， 评 估 对 象 的 粒度 也 细 化 到 功能 特性 ， 将 “质量 指 
标 ” 作 为 “质量 之 尺 ”， 让 大 家 知道 我 们 当前 的 质量 离 我 们 的 目标 还 有 多 远 ， 我 们 
还 需要 做 怎样 努力 ， 进 行 怎样 调整 ， 才 能 达到 我 们 最 终 的 质量 目标 ， 这 样 进行 质量 
评估 ， 才 真正 有 用 ， 并 且 能 够 被 大 家 信服 。 


让 我 们 回 到 测试 用 例 首次 执行 通过 率 和 测试 用 例 昧 积 通 过 率 中 来 。 


通过 第 6 章 的 朱 述 ， 我 们 知道 测试 用 例 首 次 执行 通过 率 可 以 帮助 我 们 评估 开 友 版 本 的 
质量 一 一 测试 用 例 首次 执行 通过 率 高 ， 说 明 开 发 的 版 本 质量 不 错 ( 当然 也 有 可 能 是 


测试 用 例 设 计 太 郑 ， 不 能 有 效 友 现 问 题 ) ; 相反 ， 如 果 开 上 友 需 要 多 次 修复 ， 最 后 才 
能 使 得 测试 用 例 执 行 通 过 ， 说 明 版 本 质量 可 能 不 高 ， 产品 在 设计 、 编 码 方面 可 能 存 
在 一 些 问题 ， 即 便 是 修复 bug， 在 修复 时 引入 新 bug 的 风险 也 会 更 大 一 些 。 


如 果 我 们 在 版 本 质量 评估 中 ， 友 现 某 个 功能 特性 的 测试 用 例 首次 执行 通过 率 不 高 

( 低 于 质量 目标 中 的 目标 值 ) ， 说 明 这 个 功能 特性 的 质量 可 能 不 高 ， 需 要 开 友 人 员 
进行 根 因 分 析 ， 提 出 改进 措施 ， 测 试 也 需要 适当 调整 测试 策略 ， 增 加 这 方面 的 测试 
投入 。 

在 项 目的 前 期 ， 特 别 是 在 功能 未 完全 集成 完 的 情况 下 ， 我 们 更 需要 关注 测试 用 例 首 
次 执行 通过 率 ; 随 着 项 目的 进行 ， 越 到 项 目 后 期 我 们 越 需要 关注 测试 用 例 紧 积 通过 
率 一 一 我 们 希望 在 版 本 友 布 的 时 候 ， 达 到 预期 的 测试 用 例 昧 积 通 过 率 的 目标 。 这 残 
需要 在 测试 过 程 中 及 时 解决 那些 会 阻塞 测试 的 用 例 并 提高 缺陷 的 修复 率 。 

2 ) 测试 用 例 在 多 个 版 本 中 的 测试 结果 


我 们 在 进行 测试 用 例 累 积 通 过 率 的 统计 时 ， 并 不 能 只 关注 56%、768% 这 样 的 统计 数 
字 ， 还 需要 注意 分 析 测 试用 例 在 多 个 版 本 中 的 测试 结果 。 


以 


和 


为 例 ， 假 定 这 个 功能 在 不 同 版 本 ( build1、build2 和 build3 ) 中 的 测试 执行 结果 
见 表 8-22。 


表 8-22 测试 执行 结 


不 执行 不 执行 


我 们 对 每 个 build 的 测试 策略 说 明 如 下 : 




















.在 build1 中 ， 我 们 的 测试 策略 为 执行 “测试 用 例 1”~ “测试 用 例 4”， 不 执行 “ 测 
试用 例 5” 和 “测试 用 例 6” 。 


.在 bui1d2 中 ， 我 们 的 测试 策略 为 执行 buil1d1 中 测试 结果 为 “失败 ”和 “不 执 
行 ”的 测试 用 例 ， 选 择 了 “测试 用 例 3”~ “测试 用 例 6” 。 


在 build3 中 ， 我 们 的 测试 策略 为 执行 build1 和 build2 中 测试 结果 为 “ 失 

败 ” 和 “不 执行 ”的 测试 用 例 ， 选 择 “ 测 试用 例 3” 和 “测试 用 例 5”。 另 外 ， 我们 
还 选择 部 分 测试 结果 为 “通过 ”的 测试 用 例 来 进行 “功能 回归 测试 ”， 因 此 选择 
了 “测试 用 例 4”。 


从 测试 用 例 累 积 通 过 率 来 看 ，build2 和 bui1d3 都 为 66.6% , 但 “测试 用 例 4” 的 测 
试 结果 ， 在 bui1d2 中 为 “通过”， 在 bui1d3 中 为 “失败 ”， 出 现 了 反复 。 


对 软件 测试 架构 师 而 言 ， 需 要 特别 注意 这 种 测试 用 例 在 多 个 版 本 中 的 测试 结果 出 现 
反复 的 情况 ， 因 为 这 种 反复 ， 往 往 蜡 示 了 研 友 项 目 中 的 一 些 问题 ， 提 示 我 们 在 产品 
质量 方面 可 能 存在 隐患 ， 需 要 进行 根 因 分 析 : 


是 什么 原因 导致 测试 用 例 的 执行 结果 出 现 了 反复 ? 


比较 常见 的 原因 有 新 功能 的 合 入 对 旧 功 能 造成 了 影响 或 缺陷 修改 引入 。 


对 这 两 种 情况 ， 软 件 测试 架构 师 都 可 以 从 “开发 修改 ”和 “功能 交互 ”的 角度 来 有 
针对 性 地 选择 测试 范围 ， 由 此 来 确定 buil1d4 的 回归 测试 策略 : 对 已 经 执行 “ 通 

过 ”的 “测试 用 例 1”“ 测 试用 例 2” 和 “测试 用 例 6”， 在 build4 中 是 否 需 要 再 进 
行 回归 测试 .。 


3 .在 版 本 质量 评估 中 进行 缺陷 分 析 


在 软件 产品 质量 评估 模型 中 ， 缺 陷 分 析 包 括 的 内 容 如 图 8-31 所 示 。 


缺陷 密度 分 析 
缺陷 修复 情况 分 析 
缺陷 分 析 缺陷 趋势 分 析 


映 陷 年 龄 分 析 
缺陷 触发 因 系 分 析 





图 8-31 缺陷 分 析 


软件 测试 架构 师 在 进行 每 日 缺陷 跟 踊 的 时 候 ， 对 缺陷 修复 情况 ( 哪些 缺陷 必须 在 本 
版 本 中 解决 ， 哪 些 缺陷 需要 在 本 版 本 中 解决 ) 、 缺 陷 趋势 ( 缺陷 拐点 和 缺陷 趋势 ) 
和 缺陷 年 龄 ( 主要 针对 是 否 存 在 缺陷 修改 引入 的 缺陷 万 面 ) 进行 了 分 析 ， 并 根据 分 
析 情 况 及 时 调整 了 测试 策略 。 


对 每 日 缺陷 跟 踩 已 经 分 析 过 的 内 容 ， 在 进行 版 本 缺陷 分 析 的 时 候 ， 我 们 只 进行 简单 
的 总 结 回顾 即 可 。 


对 每 日 缺陷 跟踪 没有 分 析 过 的 内 容 ， 我们 需要 在 版 本 质量 评估 中 进行 分 析 。 
8.4.2 版 本 质量 评估 中 的 缺陷 分 析 


每 日 缺陷 跟踪 没有 分 析 过 的 内 容 包 括 缺 陷 密 度 、 缺 陷 年 龄 ( 在 每 日 缺陷 跟踪 中 只 天 
注 了 缺陷 修改 引入 万 面 ) 和 缺陷 触 友 因素 分 析 。 


软件 测试 架构 师 在 版 本 质量 评估 中 进行 缺陷 分 析 ， 需 要 重点 关注 如 下 几 个 问题 ( 图 
8-32 ) : 


-功能 特性 的 缺陷 密 大 是 否 正音 ? 





图 8-32 版 本 质量 评估 中 的 缺陷 测试 


1. 版 本 缺陷 密度 评估 


通过 第 6 草 的 介绍 ， 我 们 知道 缺陷 密度 是 对 系统 中 可 能 包含 多 少 缺 陷 的 预 估 ， 可 以 帮 
助 我 们 评估 当前 系统 已 经 友 现 的 缺陷 总 数 是 否 足 够 多 。 为 了 达到 最 终 对 系统 的 缺陷 
情况 进行 评估 的 效果 ， 在 每 个 版 本 测试 结束 的 时 候 我 们 都 需要 对 每 个 功能 特性 友 现 
的 缺陷 密度 进行 统计 ， 见 表 8-23。 


表 8-23 统计 缺陷 密度 


特性 | 已 经 发 现 的 缺陷 总 数 | 缺陷 密度 





然后 我 们 可 以 根据 特性 的 优先 级 、 测 试 的 投入 来 分 析 特 性 的 缺陷 密度 是 否 合 理 。 如 
果 友 现 有 不 合理 的 地 方 ， 需 要 对 根 因 进行 分 析 ， 确 定 改 进 措 施 ， 判 断 是 否 需要 更 新 
测试 策略 。 


随 着 版 本 测试 执行 的 进行 ， 我 们 还 要 分 析 判 断 实际 的 缺陷 密度 和 质量 目标 的 偏差 是 
否 在 可 以 接受 的 学 围 内 ， 是 否 需 要 更 新 质量 目标 ， 示 意图 参见 图 6-11。 


当 我 们 友 现 实际 的 缺陷 密度 和 目标 出 现 较 大 偏差 时 ， 可 以 按照 6.6.1 节 中 介绍 的 方法 
来 进行 处 理 。 


2 .版 本 缺陷 年 龄 分 析 


我 们 可 以 按照 6.6.4 节 中 介绍 的 缺陷 年 龄 分 析 三 步 法 ， 来 进行 版 本 缺陷 年 龄 分 析 ( 摘 
抄 如 下 ) 。 


第 一 步 : 确定 缺陷 的 缺陷 年 龄 。 


第 二 步 : 统计 出 各 类 缺陷 年 龄 的 数量 ， 绘 制 缺陷 年 龄 分 析 图 。 


在 进行 缺陷 年 龄 分 析 时 ， 我 们 的 期 望 为 : 
:在 缺陷 的 引入 的 阶段 融 能 及 时 友 现 该 类 缺陷 ,缺陷 不 会 遗留 到 下 个 阶段 。 


在 特定 的 测试 分 层 友 现 该 层 的 问题 。 例 如 ， 在 集成 测试 和 系统 测试 阶段 友 现 的 缺 
陷 ， 主 要 是 在 编码 阶段 引入 的 和 设计 阶段 引入 的 。 在 验收 测试 阶段 友 现 的 缺陷 主要 
是 在 设计 阶段 引入 的 。 


没有 继承 或 历史 遗留 引入 的 缺陷 。 

没有 新 需求 或 变更 引入 的 缺陷 。 

没有 缺陷 修改 引入 的 缺陷 。 

当 我 们 友 现 分 析 结 果 不 符合 预期 时 ， 可 以 参考 6.6.4 节 中 介绍 的 方法 来 进行 处 理 。 
3. 版 本 缺陷 触 友 因素 分 析 


我 们 可 以 按照 6.6.5 节 中 介绍 的 缺陷 触发 因素 分 析 三 步 法 ， 来 进行 版 本 缺陷 触发 因素 
分 析 ( 摘抄 如 下 ) : 


第 一 步 : 确定 缺陷 的 测试 方法 和 测试 类 型 。 


第 二 步 : 统计 出 各 种 测试 方法 上 友 现 的 缺陷 数目 ， 绘 制 缺陷 触 友 因素 分 析 图 。 


第 三 步 : 进行 缺陷 触发 因素 分 析 。 
并 参考 6.6.5 节 中 提供 的 方法 来 对 实际 情况 进行 处 理 。 
8.4.3 调整 测试 策略 


我 们 进行 版 本 质量 评估 ， 是 希望 能 够 在 测试 过 程 中 看 到 当前 的 质量 如 何 ， 有 没有 问 
题 ， 看 看 能 不 能 在 测试 结束 的 时 候 ， 达 到 产品 的 质量 目标 。 如 果 我 们 在 版 本 质量 评 
估 中 友 现 了 可 能 会 影响 到 产品 最 终 友 布 的 质量 问题 ， 融 需要 采取 相应 的 措施 。 所 有 
和 测试 活动 相关 的 措施 ， 如 调整 测试 用 例 的 选择 、 调 整 测试 用 例 执行 的 顺序 、 调 整 
测试 用 例 执行 的 方法 、 调 整 测试 投入 等 都 可 以 统称 为 调整 测试 策略 。 


在 8.3.3 书 中 我 们 讨论 了 针对 每 日 缺陷 跟 路 ， 如 何 调 整 测试 策略 。 现 在 我 们 可 以 继续 
在 此 基础 上 讨论 增加 版 本 质量 评估 ， 需要 调整 测试 策略 的 内 容 和 思路 ， 如 图 8-33 所 
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图 8-33 增加 版 本 质量 评估 
8.4.4 建立 特性 版 本 质量 档案 


一 个 产品 可 能 会 有 很 多 功能 特性 ， 对 软件 测试 架构 师 而 言 ， 可 能 无 法 保证 对 每 个 功 
能 特性 都 按照 上 述 过 程 进行 质量 评估 。 所 以 对 一 个 测试 团队 而 言 ， 各 个 测试 负责 
一 起 来 建立 一 个 特性 版 本 质量 档案 ， 在 档案 中 记录 各 个 功能 特性 在 每 个 版 本 中 的 质 
量 情况 ， 是 一 个 不 错 的 选择 。 


产品 的 特性 版 本 质量 档案 ， 人 至 少 需 要 包含 如 下 内 容 : 


对 当前 测试 窗 闭 度 方面 的 记录 ， 包 括 需 求 和 实现 的 偏 莽 。 


对 测试 过 程 的 分 析 和 记录 。 
-缺陷 分 析 。 
最 后 测试 责任 人 还 可 以 根据 上 面 的 情况 ， 对 产品 功能 特性 当前 的 质量 进行 评估 ， 评 


人 其 是 人 否 达到 质量 要 求 ， 以 及 和 质量 要 求 的 主要 郑 距 在 哪里 ， 并 据 此 总 结 出 后 续 的 
测试 建议 。 


在 实际 操作 时 ， 测 试 责任 人 可 以 直接 在 之 前 制定 的 总 体 测试 策略 的 基础 之 上 来 建立 
特性 版 本 质量 档案 ， 见 表 8- 24。 


表 8- 24 特性 版 本 质量 档案 
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8.5 后 面 的 版 本 测试 策略 


到 目前 为 止 ， 我 们 的 软件 测试 染 构 师 已 经 完成 了 制定 测试 策略 一 跟踪 测试 执行 一 质 
量 评 估 这 样 的 一 个 完整 循环 。 但 是 测试 项 目 还 没有 结束 ， 紧 接着 我 们 又 会 进入 到 下 


一 个 循环 ， 如 图 8-34 所 示 。 


制定 本 版 本 测试 策略 
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跟踪 测试 执行 


制定 下 本 版 本 测试 策略 


图 8-34 版 本 测试 策略 的 下 一 个 循环 


如 果 我 们 将 刚 开始 测试 的 那个 版 本 ( 如 本 文中 的 “build1” ) 的 测试 策略 ， 称 

为 “第 一 个 版 本 测试 策略 ”， 那么 对 后 面 需要 测试 的 那些 版 本 

(如 “build2”“build3” 等 ) 的 测试 策略 ， 我们 可 以 称 它 们 为 “后 面 版 本 的 测试 
策略 ”。 


和 第 一 个 版 本 相 比 ， 后 面 的 版 本 会 考虑 到 实际 的 产品 研发 情况 和 测试 情况 ， 而 对 测 
试 策略 进行 调整 ， 因 此 ， 后 面 版 本 的 测试 策略 除了 考虑 我 们 在 8.2.8 节 中 忌 结 的 内 容 
外 ， 还 需要 增加 回归 测试 策略 和 探索 式 测试 策略 的 内 容 一 一 本 章 我 们 将 来 详细 讨论 
需要 如 何 制 定 它 们 。 


8.5.1 回归 测试 策略 

回归 测试 是 一 种 “确认 ”性 质 的 测试 ， 测 试 目标 有 : 
缺陷 回归 : 确认 测试 中 发 现 的 缺陷 被 开发 人 员 正 确 修复 了 
-功能 回归 : 确认 老 功 能 不 会 因为 新 合 入 的 功能 而 失效 。 
:阶段 回归 : 确认 产品 当前 的 质量 达到 该 阶段 的 质量 目标 。 


在 项 目 不 同 的 阶段 ， 回 归 测试 的 目标 会 有 所 侧重 ， 以 “俄罗斯 方块 心 ”项 目 为 例 ， 
回归 测试 在 不 同 阶段 的 重点 如 图 8-35 所 示 。 
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图 8-35 回归 测试 的 重点 
襄 明 : 


在 集成 开发 和 测试 阶段 ， 由 于 功能 还 会 不 断 地 添加 进来 ， 所 以 此 时 回归 测试 的 重点 
为 “缺陷 回归 ”和 “功能 回归 ”。 


.在 系统 测试 阶段 ， 这 时 已 经 不 会 再 添加 新 的 功能 了 ， 所 以 回归 测试 的 重点 为 “缺陷 
回归 ” 


-在 每 个 阶段 结束 的 时 候 ， 会 产生 一 个 专门 的 回归 测试 版 本 ， 我 们 会 在 这 个 版 本 中 对 
这 个 测试 阶段 进行 整体 的 回归 ， 确 认 是 否 达 到 该 阶段 的 目标 。 


1 .缺陷 验证 策略 
我 们 进行 “缺陷 回归 ”是 为 了 确认 缺陷 被 开发 人 员 正 确 修复 了 。 


我 们 将 缺陷 按照 功能 和 非 功能 、 是 否 有 “用 户 可 见 的 输入 输出 接口 ”分 为 三 类 ， 如 
图 8-36 所 示 。 


功能 类 缺陷 


韭 功能 类 页 陷 


撒 层 或 中 间 层 
类 的 缺陷 





图 8-36 缺陷 的 三 类 


对 “功能 类 缺陷 ”， 验 证 起 来 是 比较 明确 的 : 我 们 需要 对 缺陷 本 身 进行 验证 再 加 上 
和 该 功能 相关 的 功能 交互 的 验证 即 可 。 在 进行 “功能 交互 ”的 验证 时 ， 我 们 可 以 从 
该 功能 的 “leve13” 用 例 中 选择 部 分 用 例 来 执行 即 可 ( 关于 测试 用 例 的 分 级 ， 请 参 
考 7.4.1 节 中 的 内 容 ) 。 


对 “ 非 功 能 类 缺陷 ”， 验 证 起 来 也 是 比较 明确 的 : 我 们 需要 对 缺陷 本 身 进行 验证 ， 
同时 分 析 缺 陷 的 修改 是 否 会 对 功能 造成 影响 。 如 果 分 析 结 果 会 对 功能 造成 影响 ， 再 
选择 受 影响 功能 的 leve11、1leve12 用 例 进行 验证 即 可 。 


比较 难于 验证 的 是 那些 “底层 或 中 间 层 类 的 缺陷 ”。 由 于 它们 位 于 系统 的 底层 或 中 


间 层 ， 很 多 功能 都 可 能 会 调用 它们 ， 修 改 它 们 往往 会 影响 较 多 的 功能 ， 还 可 能 会 影 
响 系 统 的 性 能 、 可 靠 性 等 非 功 能 


。 对 这 类 问题 ， 可 以 使 用 如 下 策略 : 


:控制 这 类 缺陷 在 设计 修改 和 编码 上 的 质量 。 例 如 ， 要 求 开 有 友人 员 对 修改 方案 


进行 讨 
论 和 评审 ， 对 修改 代码 进行 走读 ， 等 等 。 


-软件 测试 架构 师 ( 或 由 软件 测试 染 构 师 指定 专门 人 员 ) 根据 缺陷 的 修改 方案 来 确定 
需要 进行 回归 测试 的 内 容 ， 如 图 8-37 所 示 。 
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图 8- 37 确定 需要 进行 回归 测试 的 内 容 


2 .功能 回归 策略 


功能 回归 的 目的 是 确认 老 功 能 不 会 因为 新 合 入 的 功能 而 失效 。 
功能 回归 按照 “功能 特性 ”在 系统 中 合 入 的 时 间 ， 又 分 为 新 开发 功能 在 合 入 版 本 后 
的 回归 测试 和 老 功 能 的 回归 测试 。 


例如 ，xx 产 品 V1.6 已 经 完成 了 “功能 A” 和 “功能 B” 开 上 有 ， 并 已 经 成 功 友 布 。 目 前 
在 V1.6 的 基础 上 开发 v1.1，V1.1 中 包含 “功能 c” 和 “功能 D”。 “功能 C” 在 第 一 
个 集成 版 本 中 提交 ，“ 功 能 D” 在 第 二 个 集成 版 本 中 提交 。 我 们 在 测试 “功能 

D” 时 ， 对 “功能 c” 进 行 回 归 测 试 ， 叫 新 开发 功能 在 合 入 版 本 后 的 回归 测试 ， 

对 “功能 A&” 和 “功能 B” 进 行 回归 测试 ， 叫 老 功 能 的 回归 测试 。 

1 ) 新 开发 功能 在 合 入 版 本 后 的 回归 测试 


对 新 开发 功能 在 合 入 版 本 后 的 回归 测试 ， 我 们 可 以 先 回 归 它 们 leve11 的 测试 用 例 
集 ， 然 后 再 逐渐 加 入 level12 测 试用 例 集 。 


我 们 还 是 以 “俄罗斯 方块 心 ” 项 目 为 例 。 按 照 项 目 计 划 ， 我 们 在 bui1d1 中 提交 的 功 
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, 那么 在 bui1d2 中 ， 我 们 就 可 以 选择 这 3 个 功能 的 level1l 用 例 来 进行 功能 回归 测 
试 ， 如 图 8-38 所 示 。 





图 8-38 level1 用 例 功 能 回归 测试 


且 随 着 项 目的 进行 ， 还 需要 逐渐 增加 一 些 “level2” 用 例 的 功能 回归 测试 ， 如 图 8- 
39 所 泵 。 
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图 8-39 level 2 用 例 功 能 回归 测试 
2 ) 老 功 能 回归 测试 


对 系统 中 的 历史 老 功 能 ， 最 理想 的 情况 是 每 个 版 本 都 能 对 这 些 功 能 的 level 用 例 集合 
回归 测试 一 遍 ; 在 每 个 阶段 都 能 够 挑选 一 些 “leve12” 和 “1leve13” 的 测试 用 例 集 
合 来 进行 回归 测试 。 

虽然 这 样 的 功能 回归 策略 能 够 很 好 地 保证 功能 的 正确 性 ， 但 这 也 使 得 需要 进行 功能 
回归 测试 的 用 例 变 得 越 来 越 多 ， 单 靠 手 工 测 试 进行 这 样 大量 、 重 复 的 确认 工作 ， 无 
疑 会 成 为 项 目 中 的 不 可 承受 之 重 ， 所 以 这 样 的 功能 回归 策略 ， 更 适合 通过 自动 化 测 


试 的 方式 来 进行 ， 而 不 太 适 合 主要 依靠 手工 执行 的 测试 团队 。 我 们 将 在 后 续 “ 自 动 
化 测试 策略 ” ( 8.5.3 节 ) 中 再 继续 讨论 。 


对 主要 依靠 手工 执行 的 测试 团队 来 说 ， 可 以 对 每 个 版 本 合 入 的 新 功能 、 代 码 的 修改 
进行 分 析 ， 找 出 那些 已 经 合 入 的 功能 ， 或 者 最 有 可 能 会 失效 的 历史 老 功 能 ， 然 后 对 
它们 进行 功能 回归 |。 


3 .阶段 回归 策略 
阶段 回归 的 目的 是 确认 产品 当前 的 质量 达到 该 阶段 的 质量 目标 。 


进行 阶段 回归 测试 ， 最 简单 的 方法 残 是 从 当前 阶段 执行 的 测试 用 例 中 选择 部 分 测试 
用 例 来 进行 。 我 们 以 按照 集成 测试 、 系 统 测 试 和 验收 测试 来 划分 的 测试 项 目 为 例 。 


1 ) 集成 测试 阶段 的 回归 测试 


集成 测试 阶段 的 测试 目的 为 验证 功能 集成 后 的 系统 的 正确 性 ( 对 集成 测试 阶段 的 测 
试 目标 的 叙述 ， 可 以 参见 7.4.2 节 ) 。 对 集成 测试 阶段 的 最 后 一 个 版 本 ， 我 们 需要 对 
当前 系统 合 入 的 功能 合集 再 进行 确认 ， 确 认 当 前 系统 满足 集成 测试 的 出 口 条 件 ( 对 
集成 测试 阶段 的 出 口 条 件 的 叙述 ， 可 以 参见 7.4.2 节 ) ， 符 合 下 一 阶段 测试 ， 即 系统 
测试 的 入 口 条 件 。 


在 测试 用 例 的 选择 上 ， 可 以 对 当前 所 有 功能 合集 的 “level1” 的 测试 用 例 进 行 回归 
测试 。 


2 ) 系统 测试 阶段 的 回归 测试 


系统 测试 阶段 的 测试 目标 是 对 系统 从 “功能 ”和 “ 非 功能 ”方面 进行 测试 验证 ( 对 


系统 测试 阶段 的 测试 目标 的 叙述 ， 可 以 参见 7.4.3 节 ) 。 


根据 第 7 章 的 叙述 ， 我 们 在 系统 测试 阶段 重点 执行 的 是 “leve13” 和 “leve14 ”的 
测试 用 例 ， 在 系统 测试 阶段 计划 的 最 后 一 个 版 本 进行 回归 测试 时 ， 我们 可 以 对 重点 
功能 的 “leve13” 的 测试 用 例 进行 回归 测试 ,。 


3 ) 验收 测试 阶段 的 回归 测试 

验收 测试 本 来 就 是 一 种 “确认 ”性 质 的 测试 ， 在 验收 测试 阶段 ,我们 会 基于 用 户 场 
景 进行 Alpha 测 试 或 Beta 测 试 ， 对 验收 测试 阶段 的 回归 测试 ， 我 们 可 以 考虑 选择 最 
重要 的 那些 “典型 场景 ”来 进行 回归 测试 。 


当然 ， 对 于 系统 测试 阶段 和 验收 测试 阶段 的 回归 测试 ， 对 当前 所 有 功能 的 level11 测 
试用 例 集合 再 进行 回归 测试 也 是 不 可 避免 的 。 


表 8- 25 总 结 了 不 同 阶段 回归 测试 用 例 选 择 。 


表 8-25 不 同 阶段 回归 测试 用 例 选 择 
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ea ) 
集成 测试 阶段 的 回归 测试 
) 当前 所 有 功能 的 levell 测试 用 例 ; 
) 
) 
) 


RN 
7 


统 测 试 阶 段 的 回归 测试 


NS 
St 


挑选 当前 重点 功能 的 level3 用 例 
当前 所 有 功能 的 levell 测试 用 例 ; 
由 型 场景 
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验收 测试 阶段 的 回归 测试 a 
8.5.2 探索 式 测试 策略 


在 4.5 节 中 ， 我 们 介绍 了 探索 式 测试 的 思想 、 方 法 和 如 何 开展 探索 式 测 试 。 在 本 章 
中 ， 我 们 将 和 大 家 一 起 来 讨论 探索 式 测 试 策略 。 


虽然 我 们 很 推 尝 探索 陈 测试 中 重视 测试 者 的 测试 思维 和 测试 方法 ， 是 快速 学 习 和 及 
时 反馈 的 测试 模式 ， 但 从 系 略 的 角度 ， 我 们 并 不 会 将 探索 式 测试 作用 在 整个 测试 项 
目 ,而 是 将 它 和 我 们 的 传统 式 测 试 结合 起 来 。 


1 .将 探索 式 测试 和 传统 式 测 试 结合 起 来 


我 们 的 测试 策略 为 : 在 项 目 中 ， 先 进行 传统 式 测 试 ， 竺 测试 用 例 执行 完成 后 ， 再 进 
行 探 索 式 测试 。 我 们 的 模拟 项 目 “ 俄 罗斯 方块 心 。， 丈 是 使 用 这 样 的 策略 ， 如 图 8- 
46 所 示 。 


这 个 策略 最 大 的 好 处 是 测试 范围 和 测试 重点 可 控 ， 即 能 够 保证 产品 基本 的 、 重 要 
的 ， 但 是 不 一 定 有 bug 的 测试 点 ( 可 以 理解 为 失效 影响 度 大 ， 但 失效 概率 低 的 部 分 ) 
“会 被 忽视 。 这 个 策略 最 大 的 坏处 是 缺陷 可 能 会 在 探索 测试 阶段 再 集中 爆发 一 次 ， 

使 得 缺陷 迟 迟 不 能 收敛 ， 造 成 测试 项 目 延 期 。 






集成 开发 和 测试 阶段 系统 测试 阶段 验收 测试 阶段 
回归 | 功能 | 功能 测试 + | 探索 式 测试 | 探索 式 测试 | 场景 | 回归 
测试 | 测试 | 非 功 能 测试 | + 回归 测试 | + 回归 测试 测试 

















测试 1 | 测试 2 | 测试 3 | 测试 4 


传统 式 测试 探索 式 测试 


图 8-46 “俄罗斯 方块 心 ”项 目的 测试 


这 个 策略 的 一 个 “改进 版 ”是 把 探索 式 测试 提前 ， 根 据 项 目 当 前 的 实际 情况 和 测试 
结果 ( 如 bug 分 析 结 果 ) ， 一 般 从 集成 测试 阶段 中 后 期 开始 ， 逐 渐进 行 探索 式 测试 ， 
如 图 8-41 所 示 。 





集成 开发 和 测试 阶段 系统 测试 阶段 验收 测试 阶段 
:成 | 集成 | 集成 | 集成 | 回归 | 功能 | 功能 测试 + | 探索 式 测试 | 探索 式 测试 再 
测试 | 测试 | 非 功能 测试 | + 回归 测试 | + 回归 测试 | 测试 




















测试 1 | 测试 2 | 测试 3 | 测试 4 


图 8-41 探索 式 测 试 


对 这 个 改进 版 的 测试 策略 ， 我 们 必须 理解 的 是 ， 探 索 式 测试 是 有 一 定 工 作 量 的 ， 把 
探索 式 测试 提前 ， 会 消耗 测试 资源 和 测试 时 间 。 在 传统 式 测试 的 测试 内 容 ( 在 这 里 
我 们 可 以 理解 为 需要 执行 的 测试 用 例 ) 不 变 少 的 情况 下 ， 探 索 式 测试 会 使 得 集成 测 
试 阶段 变 长 。 在 改进 版 策略 下 ， 这 样 的 项 目 计 划 可 能 会 更 合理 ( 图 8-42 中 的 “黑色 
框 ”表示 与 图 8-41 相 比 有 变化 的 地 方 ) 。 


集 成 开 发 和 和 沪 | | 试 阶段 系 b 统 洲 则 试 阶段 验收 六 咱 试 阶段 i 


场景 回归 
测试 | 测试 





图 8-42 与 图 8-41 相 比 的 结果 
2 .探索 式 测试 方法 的 选择 策略 


在 4.5 节 中 为 大 家 介绍 了 很 多 探索 式 ;测试 方 法。 我 们 可 以 大 致 按照 如 下 顺序 来 选择 探 
索 式 测试 方法 : 


在 集成 测试 时 ， 先 使 用 商业 区 测试 法 和 娱乐 区 测试 法 ， 再 使 用 历史 区 测试 法 和 破旧 
区 测试 法 。 


在 系统 测试 时 ， 先 使 用 历史 区 测试 法 和 破旧 区 测试 法 ， 再 使 用 商业 区 测试 法 和 娱乐 
区 测试 法 ， 最 后 使 用 旅馆 区 测试 法 和 旅游 区 测试 法 。 


这 样 考 虑 的 原因 是 : 


商业 区 测试 法 和 娱乐 区 测试 法 是 针对 重点 特性 和 辅助 特性 进行 的 。 历 史 区 测试 法 和 
破旧 区 测试 法 针对 的 是 老 特性 和 历史 问题 。 


集成 测试 阶段 ， 先 使 用 商业 区 测试 法 和 娱乐 区 测试 法 ， 对 合 入 的 新 功能 进行 探索 ， 
以 便 尽早 友 现 新 功能 中 的 问题 ; 再 使 用 历史 区 测试 法 和 破旧 区 测试 法 对 旧 功 能 进行 
测试 。 和 回归 测试 不 同 的 是 ， 虽然 两 者 都 是 针对 老 功 能 的 测试 ， 但 是 回归 测试 

是 “证 实 ” 的 测试 ， 我 们 有 必要 分 析 新 功能 对 老 功能 ， 特 别 是 历史 bug 重 灾区 部 分 的 
影响 ， 然 后 有 针对 性 地 进行 探索 式 测试 。 


系统 测试 阶段 ， 先 使 用 历史 区 测试 法 和 破旧 区 测试 法 ， 是 考虑 到 集成 测试 阶段 只 会 
考虑 与 新 合 入 功能 相关 的 老 功 能 和 历史 重 火 区 ， 而 到 了 系统 测试 阶段 ， 可 以 再 从 整 
个 系统 的 角度 ， 扩 大 范围 ， 正 好 作为 集成 测试 阶段 探索 式 测 试 的 衔接 。 然 后 再 使 用 
商业 区 测试 法 和 娱乐 区 测试 法 ， 对 整个 系统 的 重点 特性 和 辅助 特性 进行 深入 测试 ， 
挖掘 缺陷 。 最 后 使 用 旅馆 区 测试 法 和 旅游 区 测试 法 ， 是 因为 这 两 个 方法 分 别针 对 的 
是 平台 或 维护 特性 和 嘱 头 特性 。 前 者 出 现 问 题 的 风险 可 能 较 小 ， 后 者 用 户 实际 使 用 
可 能 不 多 ， 优 先 级 并 没有 那么 高 ， 所 以 放 在 最 后 进行 。 


3 .探索 式 ,测试 策略 在 版 本 测试 策略 中 
在 4.5.3 节 中 ， 我 们 讲 到 可 以 通过 图 4-76 所 示 的 3 个 步骤 来 开展 探索 式 测试 。 


在 版 本 测试 策略 中 ， 软 件 测 试 架构 师 需要 明确 “step1” 中 的 内 容 。 图 8-43 所 示 的 


流程 图 可 以 帮助 软件 测试 架构 师 来 明确 探索 测试 任务 。 


确定 探索 式 测试 在 本 版 本 
测试 中 的 比重 


。 全 局 场景 探索 测试 ? 
确定 测试 范围 --1。 特 性 漫游 探索 ? 
。 局 部 功能 点 探索 ? 


。 旅游 区 测试 法 

。 商业 区 测试 法 

根据 当前 测试 阶段 来 确定 | |。 娱乐 区 测试 法 
主要 的 探索 式 测 试 方法 。 历史 区 测试 法 
。 破旧 区 测试 法 

。 旅馆 区 测试 法 


。 使 用 x x x 测试 方法 ， 对 x x 
场景 进行 探索 式 测试 
。 使 用 x x x 测试 方法 ， 对 x x 
特性 进行 探索 式 测试 
。 使 用 x x x 测试 方法 ， 对 x x 
功能 进行 探索 式 测试 


输出 探索 式 测试 任务 





图 8-43 流程 图 


8.5.3 目 动 化 测试 策略 


在 4.6 节 里 ， 我 们 简单 地 讨论 了 上 自动 化 测试 ， 并 没有 介绍 具体 的 自动 化 技术 ， 如 目 动 


化 框架 、 关 键 的 实现 技术 、 上 自动 化 脚本 开发 语言 等 ， 而 是 本 着 客观 的 精神 去 讨论 自 
动 化 背后 的 真相 ， 讨 论 如 何 去 评 估 目 动 化 的 收益 。 显 然 ， 好 的 目 动 化 测试 策略 ， 惑 
是 既 能 够 符合 测试 的 需求 ， 又 能 让 目 动 化 收 荔 最 大 化 的 策略 。 

尽管 自动 化 测试 可 以 用 于 新 功能 的 测试 ， 但 是 大 多 数 公司 还 是 将 自动 化 定位 于 回归 
测试 ， 如 功能 回归 和 bug 回 归 。 仔 细 分 析 原 因 ， 融 会 友 现 其 实 并 不 是 目 动 化 测试 技术 
的 问题 ， 而 是 自动 化 测试 根本 束 不 是 单 靠 技 术 能 搞定 的 事情 一 一 需求 、 开 友 接 口 和 
测试 用 例 都 会 对 新 功能 的 自动 化 测试 造成 影响 ( 可 以 参考 前 面 4.6.1 节 的 役 述 ) 。 为 
了 让 这 些 环节 能 够 很 好 地 配合 起 来 ， 我 们 甚至 需要 制定 出 新 的 研发 流程 来 适应 自动 
化 ， 这 绝对 不 是 一 件 简单 的 事情 。 综 上 ， 本 节 讨 论 的 自动 化 测试 策略 ， 主 要 还 是 使 
用 目 动 化 测试 来 进行 回归 测试 ， 这 融 需 要 我 们 : 

: 先 对 需要 多 次 执行 的 测试 用 例 进行 目 动 化 。 

-优先 目 动 化 简单 的 、 可 靠 的 功能 。 

1 .确定 自动化 脚本 编写 的 优先 级 

如 何 从 众多 的 测试 用 例 中 ， 选 择 那 些 需 要 重复 执行 的 测试 用 例 优先 进行 目 动 化 呢 ? 


首先 我 们 可 以 根据 阶段 测试 策略 中 确定 的 测试 用 例 等 级 ( 测试 用 例 等 级 的 确定 ， 请 
参见 7.4.1 书 ) ， 优 先 自动 化 “level1” 的 测试 用 例 ， 再 自动 化 “leve12” 的 测试 
用 例 ， 然 后 目 动 化 “leve13” 的 测试 用 例 ， 最 后 目 动 化 “leve14” 的 测试 用 例 。 


对 测试 用 例 等 级 相同 的 测试 用 例 ， 优 先 对 总 体 测 试 案 略 中 ， 确 定 的 特性 “优先 级 
高 ”的 测试 用 例 进 行 自动 化 。 


对 优先 级 相同 的 测试 用 例 ， 可 以 从 目 动 化 技术 的 角度 入 手 ， 优 先 实现 自动 化 简单 


的 、 可 靠 性 更 高 的 测试 用 例 。 
2 . 目 动 化 开 友 和 测试 如 何 与 测试 项 目 配合 


目 动 化 要 想 友 挥 到 最 大 的 作用 ， 丈 必须 将 目 动 化 脚本 的 开 友 、 目 动 化 脚本 的 测试 和 
实际 研发 项 目 结 合 起 来 。 


我 们 还 是 以 “俄罗斯 方块 心 ”项 目 为 例 ( 为 了 简化 摘 述 ， 我 们 省 略 了 bui1d3 和 
build4， 以 及 SsT1 以 后 的 所 有 版 本 ) 。 此 时 我 们 将 目 动 化 测试 定位 为 回归 测试 ， 根 
据 8.5 节 中 八 述 的 回归 测试 策略 ， 在 这 个 项 目的 版 本 开发 计划 下 ， 目 动 化 脚本 开 友 计 
划 和 目 动 化 脚本 的 测试 计划 如 图 8-44 所 示 。 


| aa | vi Te wis | Si | 


。 完成 build1 功能 的 | |。 完 成 build 2 功能 的 。 开发 level2 、level3 的 自动 化 脚本 
levell 测试 用 例 集 levell 测试 用 例 集 
的 自动 化 脚本 开发 的 自动 化 脚本 开发 


。 如 有 了 时间， 继续 开发 level2 、level3 的 自 
动 化 脚本 


自动 化 测试 。build1 功能 。buildl 一 build4 功 | |。buildl 一 build4 功 能 
执行 计划 levell 测试 用 例 集 能 levell 测试 用 例 levell 测试 用 例 集 的 
(针对 自动 化 的 有 自动 化 测试 集 的 自动 化 测试 自动 化 测试 
回归 ) 。 完 成 开发 的 level2、 
level3 测试 用 例 集 的 
自动 化 测试 





。 历史 老 功 能 的 自动 化 测试 (如 果 有 ) 


图 8-44 目 动 化 脚本 开 友 计划 和 目 动 化 脚本 的 测试 计划 


对 上 图 简要 说 明 如 下 : 


-在 功能 开发 阶段 ， 优 先 对 新 合 入 功能 的 leve11 测 试用 例 进行 自动 化 脚本 开发 。 如 果 
有 时 间 ， 再 进行 ]evel12、leve13 测 试用 例 的 自动 化 脚本 开发 。 


-在 本 版 本 中 对 之 前 版 本 合 入 的 所 有 功能 的 leve11 测 试用 例 集 进行 自动 化 测试 执行 。 
例如 ， 在 build2 中 需要 自动 化 执行 build1 中 leve11 的 测试 用 例 ， 在 build3 中 需要 
执行 build1、build2 中 leve11 的 自动 化 测试 用 例 。 


:在 开发 完成 新 功能 提交 后 ， 表 集中 对 leve12 和 leve13 的 测试 用 例 进行 自动 化 脚本 
开 友 。 

-持续 执行 历史 老 功 能 的 目 动 化 测试 脚本 。 

3. 天 于 目 动 化 率 


对 自动 化 率 ， 我 的 建议 是 ， 目 动 化 率 需 要 与 目 动 化 工具 、 上 自动 化 技术 和 目 动 化 平台 
以 及 研 友 能 力 匹 配 ， 不 要 盲目 退 求 自动 化 率 。 


举 一 个 例子 。 在 《H3C 软 件 测试 经 验 与 实践 》 一 书 中 ( H35 测 试 中 心 出 版 ， 刘 字 编 
车 ) ， 作 者 将 目 动 化 测试 总 结 为 以 下 三 代 ， 见 表 8- 26。 


表 8-26 目 动 化 测试 总 结 


第 三 代 


以 捕捉 / 回 (Capture/Playback) 工具 , 以 自动 化 测试 平台 为 中 心 的 
E apture/Playbac 以 脚本 (Seript) 为 中 心 的 自动 化 不 半 合 


为 中 心 的 自动 化 月 动 化 
(1) 以 捕获 和 回放 作为 主要 的 自动 | (1) 整个 团队 采用 了 统一 的 适合 | (1 ) 统一 的 自动 化 平台 框架 ， 
化 手段 ， 主 要 用 于 CUI 系统 测试 本 技术 领域 的 完备 的 脚本 语言 统一 的 脚本 架构 和 风格 ， 统 一 
(2) 提供 简单 的 脚本 自动 生成 和 开 | (2) 测试 工程 师 基 于 自己 的 测 | 的 脚本 质量 
发 功能 ; 脚本 语言 简单 ， 编 程 要 素 少 ; | 试 环境 编写 自动 化 脚本 ， 可 移植 性 | (2) 对 测试 操作 进行 了 高 
| 脚本 可 维护 性 差 差 ， 质 量 也 参差 不 齐 度 的 抽象 概括 ， 形 成 了 完备 的 
(3 ) 对 被 测 系 统 变 更 的 容忍 度 基 本 | (3 ) 测试 工程 师 的 自动 化 成 果 |Action Word 通用 lib 
为 去， 被 测 系统 的 细微 改动 都 可 能 导 | 工作 不 能 开 成 合力 ， 难 以 持续 有 效 | (3 ) 脚本 的 重用 性 、 可 维护 
致 脚本 无 法 运行 积累 性 、 和 鲁 棒 性 有 了 保障 
tcl 早期 VRP 测试 组 工程 师 完成 | 基于 ATF 自动 化 平台 开发 的 


aRun 测试 工具 ，SNMP Tester 工具 ||, 
Q i 的 测试 脚本 TestBlade V1 、V2 的 脚本 





如 果 我 们 当前 的 目 动 化 测试 能 力 ， 只 位 于 “第 一 代 ” 的 水 平 ， 追 求 自动 化 率 是 没 
意义 的 。 因 为 产品 细微 的 变化 ， 都 会 导致 脚本 变 得 不 能 使 用 ， 虚 高 的 自动 化 率 不 会 
给 项 目 囊 来 任何 好 处 ， 反 而 会 让 自动 化 测试 者 感到 浊 赤 ， 对 目 动 化 测试 失去 信心 。 


如 果 当 前 的 目 动 化 测试 能 力 能 够 达到 “第 二 代 ” 的 水 平 ， 那 么 根据 我 的 经 验 ， 
36%~46% 的 目 动 化 率 会 是 一 个 比较 合适 的 值 ， 当 然 ， 这 是 我 的 看 法 ， 仪 供 参 考 。 


到 了 “第 三 代 ” 及 其 以 上 ， 残 可 以 追求 高 目 动 化 率 ， 经 过 持续 的 积累 ， 上 自动 化 的 优 


势 会 变 得 人 钝 友 明显 。 
4 .鼓励 通过 脚本 来 解决 测试 中 的 实际 问题 


根据 我 的 了 解 ， 大 多 数 公司 的 自动 化 水 平 并 不 理想 ， 按 照 上 一 草 中 介绍 的 标准 ， 大 
部 分 位 于 “第 一 代 ” 或 “第 二 代 ” 的 水 平 。 在 这 种 情况 下， 我 们 不 要 去 追求 自动 化 
率 ， 但 是 可 以 鼓励 大 家 把 工作 中 那些 大 量 重复 的 操作 ， 写 成 脚本 ， 达 到 简化 测试 的 
目的 。 例 如 : 


:xx 功能 满 规格 的 配置 脚本 ( 如 1686 条 策略 的 配置 ，168e 个 用 户 的 配置 ) 。 


等 等 ) 。 


:反复 执行 某 些 操作 ( 如 反复 提交 配置 ， 反 复 添 加 、 删 除 某 条 命令 ， 等 
一 些 需 要 对 某 个 功能 的 参数 进行 “ 正 交 人 遍 历 ” 的 测试 项 目 。 


举例 


当 我 们 需要 对 某 个 功能 的 参数 进行 正 交 饥 历 测试 时 ， 不 仅 测 试 量 很 大 ， 测 试 过 程 也 
是 非 单 枯燥 乏味 的 。 


例如 ， 对 数 通 类 产品 ， 需 要 测试 接口 在 不 同 协商 模式 和 速率 下 与 其 他 设备 的 接口 是 
否 能 够 正确 对 接 。 以 1666M 的 接口 为 例 ， 它 能 够 支持 的 速率 配置 参数 

为 “auto”“166e6eM”“166eM” 和 “1eM” ; 支持 的 模式 有 “auto”“ 双 

工 ” 和 “ 半 双 工 ”。 这 时 我 们 需要 将 这 些 配置 参数 组 合 起 来 ， 再 和 对 接 设备 进行 全 
正 交 测试 。 表 8-27 是 这 项 测试 的 具体 内 容 ( 该 表 只 做 示意 ， 并 非 完整 的 测试 项 


目 ) 。 


表 8-27 测试 的 具体 内 容 


ET ET 
到 该 设 和 加 


数据 传输 显示 灯 黄色 ， 有 数据 时 闪烁 ， 无 数据 黄色 ， 有 数据 时 闪烁 ， 无 
办 由 | 所 机 浅 丰 人 
| 时 不 灭 数据 时 不 灭 


| 
,114s | 黄色 ,有 数据 时 闪烁 ,无 数据 | ”黄色 ， 有 数据 时 闪烁 ， 无 
数据 传输 显示 灯 |，， a 

时 不 灭 数据 时 不 天 


连接 状态 显示 灯 黄色 


数据 传输 显示 灯 黄色 ， 有 数据 时 闪烁 ， 无 数据 
净 后 人 屏 栅 汪 尔 和 时 不 灭 


是 一 项 非常 烦琐 的 测试 ， 在 测试 过 程 中 ， 测 试 者 需要 不 断 配置 被 测 设备 和 对 接 设 
备 的 双 工 模式 与 速率 ， 然 后 查看 接口 的 协商 情况 。 对 这 类 的 测试 ， 我 们 就 可 以 想 办 





双 工 模式 : auto; 速率 : auto 






双 工 模式 : full; 速率 : 1000M 





双 工 模式 : full; 速率 : 100M 





法 写 一 些 自动 化 测试 脚本 ， 来 自动 配置 被 测 设备 和 对 接 设备 接口 的 参数 ， 然 后 将 结 
果 记录 下 来 。 


俗话 这 ，“ 不 积 哇 步 ， 无 以 至 干 里 ”。 这 些 脚本 可 能 很 简单 ， 可 移植 性 也 不 好 , 但 
是 可 以 培养 团队 的 自动 化 意识 ， 为 团队 在 自动 化 测试 方面 打下 展 好 的 基础 。 


8.5.4 回 欣 


现在 ， 软件 测试 染 构 师 已 经 投入 在 版 本 测试 中 了 ， 忙 着 制定 测试 策略 ， 跟 中 测试 执 
行情 况 和 进行 版 本 质量 评估 ， 如 图 8-45 所 示 。 


我 们 也 终于 可 以 在 8.2.8 节 的 基础 上 ， 总 结 出 版 本 测试 策略 需要 关注 的 所 有 内 容 了 : 
:测试 范围 和 计划 相 比 的 偏差 。 

:本 版 本 的 测试 目标 。 

需要 重点 关注 的 内 容 。 

:测试 用 例 的 选择 。 

:测试 执行 顺序 。 

:试探 性 的 测试 策略 。 

-接收 测试 策略 。 

-回归 测试 策略 。 


-探索 式 测 试 策 略 。 


' 目 动 化 测试 策略 。 


在 实际 项 目 中 ， 我 们 可 以 将 这 些 作 为 版 本 测试 策略 的 提纲 来 制定 版 本 测试 策略 。 





版 本 测试 中 


验证 阶段 发 布 阶段 


系统 工程 师 


开发 人 员 六 书 版 本 发 布 和 缺陷 修改 












测试 人 员 总 





体 测 试 阶段 测试 
策略 策略 


下 一 一 一 一 一 一 一 一 上 一 一 一 一 一 一 一 一 一 一 一 一 










r 一 一 一 二 一 一 一 一 二 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 | nr 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 、 


1 1 nr | 1 1 1 

信用 制定 总 。 制定 测试 执行 
a | ”制定 阶段 “| ， 策略 

! 始 1! 窜 内 | ! 测试 策略 |! !'。 跟 踊 测 试 执行 
| | 1。 版 本 质量 评估 
1 es | 1 1 1 


机 


图 8-45 版 本 测试 中 
8.6 阶段 质量 评估 ( 包括 友 布 质量 评估 ) 


阶段 质量 评估 是 在 每 个 测试 阶段 即将 完成 的 时 候 ， 对 当前 系统 的 质量 再 进行 一 轮 整 
体 性 的 评估 ， 判 断 当前 系统 是 否 达 到 该 测试 阶段 的 出 口 标准 ， 可 以 进入 到 下 一 个 阶 
段 的 测试 ， 或 是 产品 友 布 。 


以 我 们 的 虚拟 项 目 “ 俄 罗斯 方块 心 ”为 例 ， 不 同 的 测试 阶段 对 应 的 阶段 质量 评估 分 


别 为 集成 测试 阶段 质量 评 佑 、 系 统 测 试 阶段 质量 评估 和 产品 友 布 质量 评估 ， 如 图 8- 


46 所 泵 。 


成 开发 和 测试 阶段 充 测试 阶段 验收 测试 阶段 


Cr CITI CTT CTT ET EP ET 


测 





集成 测试 系统 测试 产品 发 布 
阶段 质量 阶段 质量 质量 评估 


评估 评 佑 










图 8-46 三 个 质量 评估 阶段 
8.6.1 阶段 质量 评估 项 目 


阶段 质量 评估 需要 按照 质量 评估 模型 ， 对 系统 进行 全 面 的 质量 评估 ， 并 给 出 当前 产 
品质 量 的 结论 。 


给 出 结论 忌 是 一 件 很 难 的 事情 ， 质 量 评估 也 不 例外 。 虽 然 我们 可 以 按照 产品 质量 评 
估 模 型 来 对 产品 质量 进行 评估 ， 但 如 果 我 们 分 析出 了 间 题 ， 得 到了 “不 能 友 布 ”的 
结论 ， 则 让 我 们 感到 有 些 违背 了 我 们 的 测试 初衷 : 产品 能 够 保质 保 量 按时 友 布 才 是 
我 们 真正 想 要 的 结果 。 


如 果 大 家 是 按 8.3 节 、8.4 节 这 样 顺序 阅读 下 来 的 ， 残 会 友 现 我 们 在 跟踪 测试 执行 和 
版 本 质量 评估 中 一 直 在 进行 质量 评 佑 。 这 使 得 质量 评估 从 一 个 阶段 性 的 测试 活动 

( 很 多 测试 团队 可 能 只 在 版 本 快要 友 布 的 时 候 才 开 始 进 行 质量 评估 ) ， 变 成 了 每 
天 、 每 个 版 本 都 在 进行 的 活动 ， 一 旦 友 现 了 质量 问题 ， 束 能 在 过 程 中 实时 调整 测试 
策略 ， 使 得 最 后 产品 能 够 达到 | 发 布 的 质量 目标 。 


虽然 跟 路 测试 执行 、 版 本 质量 评估 和 阶段 质量 评估 都 是 根据 质量 评估 模型 在 进行 质 
量 评估 ， 但 是 它们 各 目的 侧重 点 还 是 有 所 不 同 的 。 


-跟踪 测试 执行 关注 测试 过 程 ， 通 过 过 程 来 保证 质量 ， 是 使 我 们 最 终 能 够 达到 测试 目 
标的 基础 。 评 估 项 目 也 主要 是 一 些 定性 的 分 析 。 


:版 本 质量 评估 关注 的 是 每 个 版 本 的 质量 是 否 符 合 预 期 。 评 估 项 目 包含 定性 分 析 和 定 
量 措 标 ， 但 定性 分 析 仿 多。 


:阶段 质量 评估 关注 的 是 每 个 阶段 的 质量 目标 是 否 完 成 。 评 估 项 目 定性 分 析 和 定 
量 指标 ， 但 主要 是 定量 指标 。 


表 8-28 对 跟 路 测试 执行 、 版 本 质量 评估 和 阶段 质量 评估 分 别 需要 重点 关注 的 质量 
估 项 目 进行 了 忌 结 。 


表 8-28 质量 i > 平 估 项 目 总 结 














质量 评估 模型 跟踪 测试 执行 版 本 质量 评估 阶段 质量 评估 
需求 覆盖 度 评估 记 录 需 求 实 4 前 差 需求 覆盖 度 评 贡 量 目标 
测试 覆盖 度 评估 本 记录 需求 和 实现 的 偏差 市 Se Ee 2 2 ) 
路 径 履 盖 度 评 佑 路 径 覆 盖 度 评估 (质量 目标 ) 
(1 ) 测试 用 例 首 次 执行 通过 | (1) 测试 用 例 执 行 率 、 首 次 执行 通过 
二 率 和 累积 执行 通过 率 ; 率 和 累积 执行 通过 率 (质量 目标 ); 
测试 用 例 分 析 阻塞 的 测试 用 例 2 
Ws ER (2 ) 测试 用 例 在 多 个 版 本 的 | (2 ) 测试 用 例 和 非 测试 用 例 发 现 缺 隐 
测试 过 程 分 析 测试 结果 分 析 比 (质量 目标 ) 
讽 试 过往 他 入 
是 否 按 照 涡 测试 
测试 方法 分 析 测试 团队 是 否 按照 测试 策略 中 的 测试 


方法 、 测 试 顺序 来 执行 测试 用 例 





测试 投入 分 析 测试 团队 是 否 按照 特性 的 优先 级 来 执 
































行 测试 用 例 
缺陷 密度 分 析 特性 缺 了 密度 评 信 系统 缺陷 密度 评 信 (质量 目标 ) 
缺陷 修复 情况 分 析 | 【 吕 旦 了 本 人 中 全 缺陷 修复 率 (质量 目标 ) 
i 缺陷 趋势 分 析 ”| ”判断 当前 版 本 的 缺陷 趋 势 是 天 正常 缺陷 趋势 分 析 
缺陷 年 办 分 析 ”| 是否 存在 缺陷 修 改 引信 缺 隔 ? 特性 缺 了 年龄 分 析 系统 缺陷 年 龄 分 析 
缺陷 触发 因素 分 析 特性 航 发 因素 分 析 系统 触发 因素 分 析 


1. 确 认 忆 体 测 试 策略 中 的 质量 目标 是 否 完成 


我 们 在 制定 总 体 测 试 策略 时 ， 会 对 产品 总 体 的 质量 目标 进行 分 解 ， 并 为 每 个 测试 分 
层 ( 测试 阶段 ) 确定 质量 目标 ( 表 8-29， 详 见 7.3.1 节 ) 。 


表 8-29 总 体 测 试 策略 中 的 产品 质量 目标 


产品 质量 产品 质量 完全 商用 ( 目标 ) 完全 商用 ( 目标 ) 完全 商用 
评估 模型 评估 项 目 集成 测试 阶段 结束 系统 测试 阶段 结束 (目标 ) 发 布 


i 需求 覆盖 度 100% 
测 试 需 窗 IT 度 
ZX HS > PF 二 本 
路 径 候 证 度 3 之 75% 


100% (集成 测试 阶段 100% (系统 测试 阶段 计 
划 完 成 的 测试 用 例 ) 划 完 成 的 测试 用 例 ) 


别 执行 率 


测试 用 例 首次 执行 通过 率 > 75% 
测试 过 程 二 
测试 用 例 累积 执行 通过 率 > 95% 


测试 用 例 和 非 测试 用 例 发 
现 缺 陷 比 


缺陷 

人 人 
阶段 质量 评估 就 是 回顾 这 些 质量 目标 是 否 完成 。 使 用 第 6 章 中 提供 的 方法 ， 束 可 以 得 
到 产品 实际 的 质量 值 。 但 是 更 让 人 头痛 的 问题 是 ， 对 测试 人 员 来 说 ， 该 如 何 根据 这 
些 数据 ， 在 质量 评估 报告 中 给 出 产品 “能 否 进 入 下 一 阶段 ”或 “发 布 ” 的 结论 呢 ? 
( 虽然 最 后 的 决策 者 不 是 测试 人 员 ， 但 是 这 份 质量 评估 报告 也 会 成 为 决策 者 的 重要 
参考 。 ) 














一 个 思路 是 ， 将 质量 目标 划分 为 重要 的 、 必 须 达成 的 质量 目标 和 一 般 性 的 质量 目标 
( 后 文 我 们 统一 称 那些 重要 的 、 必 须 达 成 的 质量 目标 为 质量 红线 ) 。 


-如果 在 质量 评估 中 友 现 “质量 红线 ”没有 达到 目标 ， 融 不 能 进入 下 一 阶段 的 测试 或 
发 布 。 


-如果 在 质量 评估 中 友 现 一 般 性 质量 目标 没有 达到 ， 需 要 我 们 能 够 给 出 应 对 措施 ， 如 


果 无 法 给 出 应 对 措施 ， 也 不 能 进入 下 一 阶段 的 测试 或 发 布 。 


整体 思路 如 图 8-47 所 示 。 






不 能 进入 下 
一 测试 阶段 
或 发 布 


















质量 红线 是 
人 否 存在 不 达标 
项 目 ? 














其 他 质量 评估 
项 目 是 否 存 在 不 
达标 项 目 ? 


是 否 存 在 有 效 
的 应 对 措施 ? 





四 
测试 阶段 或 
发 布 
图 8-47 整体 思路 

2 .重要 的 质量 目标 ( 质量 红线 ) 


“质量 红线 ”是 指 那 些 不 达标 就 不 能 进入 下 一 阶段 测试 或 友 布 的 质量 目标 。 不 同 的 
型 产品 的 “质量 红线 ”可 能 会 有 所 不 同 ， 表 8- 36 是 某 产品 的 “质量 红线 ”， 供 大 


家 参考 。 
表 8-36 基 产 品质 量 红线 
质量 评估 模型 产品 质量 评估 项 目 质量 目标 的 重要 性 


ER 需求 覆盖 度 质量 红线 
测试 覆盖 度 


路 径 覆 六 L 区 
测试 用 例 执 行 率 质量 红线 
测试 用 例 首次 执行 通过 率 


测试 过 程 
测试 用 例 累积 执行 通过 率 质量 红线 


测试 用 例 和 非 测 试用 例 发 现 缺 陷 比 
缺陷 密度 


缺陷 
缺陷 修复 率 质量 红线 





3 .对 未 达到 的 一 般 性 质量 目标 制订 应 对 措施 


对 那些 未 达到 的 一 般 性 质量 目标 ， 需 要 制订 应 对 措施 。 下 面 这 些 分 析 将 有 助 于 我 们 
做 好 应 对 工作 。 


1 ) 非 测 试用 例 发 现 缺陷 的 原因 分 析 


针对 “测试 用 例 和 非 测试 用 例 友 现 缺 陷 比 ”这 项 质量 目标 进行 。 通 过 此 项 分 析 ， 能 
够 帮助 我 们 找到 当前 测试 设计 问题 最 严重 的 地 方 ， 便 于 我 们 根据 测试 结果 来 增加 、 
减少 测试 用 例 ， 进 行 探索 式 测试 ， 改 进 测试 设计 ， 等 等 。 


2 ) 组 合 缺陷 分 析 


对 缺陷 分 析 来 说 ， 每 种 缺陷 分 析 方 法 都 能 对 产品 质量 的 某 些 方面 进行 评估 ( 表 8- 


31， 详 见 6.6.6 节 ) 。 


表 8-31 缺陷 分 析 方 法 与 产品 质量 评估 


缺陷 分 析 方 法 产品 质量 评估 


(1 ) 预测 产品 可 能 会 有 多 少 缺 陷 ; 


缺陷 密度 aa 
(2 ) 评估 当前 发 现 的 缺陷 总 数 是 否 足 够 多 


缺陷 修复 率 发 现 的 缺陷 是 否 已 经 被 有 效 修复 

缺陷 趋势 分 析 系统 是 否 还 能 继续 发 现 缺 陷 

缺陷 年 龄 分 析 每 个 可 能 引入 缺陷 环节 ， 可 能 引入 的 缺陷 是 否 都 已 经 被 有 效 去 除 
缺陷 触发 因素 分 析 测试 是 否 已 经 足够 全 面 


如 果 我 们 孤立 地 看 待 每 一 项 ， 独立 对 其 中 的 问题 进行 分 析 ， 给 出 应 对 措施 ， 很 难 从 
根本 上 解决 问题 。 这 束 需 要 我 们 将 这 些 缺 陷 分 析 方 法 组 合 起 来 进行 分 析 ， 从 系统 整 
体 的 角度 给 出 应 对 措施 。 


我 们 在 6.6.6 节 中 也 曾 讨论 过 组 合 缺陷 分 析 ， 还 给 出 了 一 个 处 理 思 路 图 ， 如 图 6-26 
所 示 。 


由 


但 是 图 6-26 所 示 还 没有 考虑 “质量 红线 ”， 没 有 细 化 那些 不 符合 预期 的 情况 。 后 面 
我 们 将 对 组 合 缺陷 分 析 进 行 更 为 详细 的 讨论 。 


需要 特别 说 明 的 是 ，“ 非 测试 用 例 友 现 缺陷 的 原因 分 析 ” 和 “组合 缺陷 分 析 ” 本 来 
都 是 很 棒 的 测试 质量 分 析 方 法 ， 无 须 限 制 企 对 “未 达到 ”的 质量 目标 制订 应 对 措施 
二 

4. 遗 留 缺陷 分 析 


在 实际 项 目 中 ， 我 们 不 会 要 求 缺 陷 修 复 率 为 166%， 而 是 允许 系统 市 一 些 已 知 缺陷 发 
布 。 遗 留 缺陷 分 析 ， 包 括 我 们 如 何 选 择 哪些 缺陷 可 以 遗留 和 如 何 为 缺陷 制订 规避 措 
施 。 


最 后 ， 按 照 上 面 的 叙述 ， 我 们 将 阶段 质量 评估 的 思路 完善 ， 如 图 8-48 所 示 。 
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其 他 质量 评 全 
项 目 是 否 存在 不 
达标 项 目 ? 
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目 . 
遗留 缺陷 分 析 


图 8-48 完善 阶段 质量 评估 思路 
8.6.2 非 测试 用 例 发 现 缺 陷 的 原因 分 析 


正如 6.5.1 节 中 摘 述 的 那样 ， 我 们 希 翌 测 降 人 员 在 测试 过 程 中 ， 在 执行 测试 用 例 的 时 
候 能 够 进行 一 些 “ 发 散 测试 ”， 但 是 我 们 也 希望 通过 测试 用 例 发 现 的 缺陷 和 非 测试 
用 例 友 现 的 缺陷 的 比值 能 够 在 一 个 合理 的 范围 内 。 比 值 过 高 或 过 低 都 不 是 我 们 希望 
看 到 的 结果 ， 如 果 出 现 偏差 ， 就 需要 对 这 部 分 缺陷 进行 分 析 。 


我 们 在 6.5.1 节 中 ， 对 出 现 偏差 的 原因 进行 了 概述 。 如 果 发 散 测 试 发现 的 缺陷 较 多 ， 





到 王 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 


束 需 要 对 这 些 缺 陷 的 原因 进行 分 析 。 


非 测试 用 例 友 现 缺陷 的 原因 分 析 可 以 在 整个 测试 团队 中 进行 。 为 了 便于 后 续 对 分 析 
结果 再 进行 分 类 统计 ， 在 分 析 之 前 ， 软 件 测试 染 构 师 最 好 对 可 能 原因 进行 分 类 ， 然 
后 让 大 家 按照 这 个 分 类 来 对 bug 进 行 归 类 ， 再 分 析 具 体 原 因 。 


表 8- 32 所 示 是 一 个 分 类 的 参考 。 


表 8-32 分 类 参考 


大 类 小 类 
测试 策略 遗漏 
产品 实现 细节 未 考虑 此 测试 点 
功能 交互 方面 未 考虑 到 此 测试 点 
边界 值 或 异常 分 支 示 考虑 此 测试 点 


测试 场景 未 考虑 此 测试 点 


测试 设计 遗漏 
测试 设计 错误 
表 8-33 是 一 个 让 测试 团队 进行 分 析 的 参考 模板 。 
表 8-33 测试 团队 分 析 参 考 模板 
缺陷 ID 具体 原因 分 析 责任 人 





软件 测试 染 构 师 可 以 对 收集 的 分 析 结 果 进 行 汇 忌 分 析 ， 找 到 间 题 最 严重 、 最 集中 的 
地 方 一 一 显然 这 些 也 是 当前 测试 团队 在 测试 能 力 上 急需 改进 的 地 方 。 不 过 对 当前 的 
项 目 来 说 ， 更 重要 的 是 ， 软 件 测试 染 构 师 还 需要 根据 统计 结果 来 调整 测试 策略 。 





下 面 举 一 个 实例 。 


举例 : Xx 产 品系 统 测试 阶段 非 测试 用 例 友 现 缺陷 的 原因 分 析 


对 系统 测试 阶段 ，62 个 非 测 试用 例 友 现 缺陷 的 原因 统计 如 图 8-49 所 示 。 


测试 策略 遗 涯 测试 设计 遗 汤 测试 设计 钳 误 





图 8-49 非 测试 用 例 友 现 缺 陷 的 原因 


对 造成 测试 设计 遗漏 的 原因 ， 进 一 步 统计 如 图 8-58 所 示 。 





图 8-58 测试 设计 遗漏 的 原因 


该 阶段 非 测 试用 例 友 现 的 缺陷， 大 部 分 属于 测试 设计 遗漏 。 
在 测试 设计 遗漏 中 ， 大 部 分 又 属于 产品 实现 细节 方面 的 内 容 。 


例如 : bugxxx， 中 文 用 户 名 被 php 页 面 转换 后 ， 编 码 中 如 果 有 “+” 号 ，VPN 用 户 残 
无 法 接 入 。 


造成 该 问题 的 原因 是 ， 中 文 名 在 经 过 php 编 码 后 ， 一 些 用 尸 名 碰巧 会 出 现 特 殊 字 
符 “+”， 而 http 协 议 并 不 认识 “+”。 


对 于 这 个 问题 ， 除 了 确认 bug 是 否 被 正确 修复 外 ， 还 需要 分 析 : 
( 1 ) 其 他 语言 的 编码 转换 是 否 会 存在 类 似 的 问题 。 


( 2 ) 其 他 类 型 的 用 户 ( 如 系统 管理 用 户 、 审 计 用 户 等 ) 是 否 会 存在 类 似 的 问题 。 


中 


分 析 责 任 人 : xx x ( 需要 在 x 月 x 日 给 出 分 析 结 果 ， 再 进一步 确定 是 否 需 要 在 系统 
理 、 审 计 等 功能 中 进行 这 类 探索 式 测试 。 ) 


8.6.3 组 合 缺 陷 分 析 


缺陷 分 析 从 来 都 是 质量 评估 的 重头 戏 ， 从 8.6.1 节 中 的 质量 评估 项 目的 分 解 表 中 就 会 
发 现 ， 其 实 我 们 每 天 都 在 进行 缺陷 分 析 。 阶 段 质 量 评估 和 跟 路 测试 执行 、 版 本 质量 
评估 相 比 ， 跟 踪 测 试 执行 和 版 本 质量 评估 只 关心 模型 中 的 某 些 缺 陷 分 析 项 ， 而 阶段 
质量 评估 需要 对 所 有 缺陷 ， 组 合 使 用 这 些 缺 陷 分 析 方 法 来 进行 分 析 。 


我 们 还 是 先 来 看 6 .6.6 节 中 曾 讨 论 过 的 图 6-26。 


如 果 缺 陷 分 析 的 结果 都 是 “符合 预期 ”， 我 们 的 分 析 结 论 束 理应 为 “可 以 进入 下 一 


阶段 的 测试 或 友 布 ”， 而 没有 异议 。 


回忆 一 下 ， 我 们 在 版 本 质量 评估 中 ， 也 会 进行 缺陷 分 析 。 这 时 如 果 出 现 分 析 结 

果 “ 不 符合 预期 ”的 情况 ， 我 们 通常 会 采取 “进入 下 一 版 本 的 测试 + 更 新 测试 策 
略 ”的 方式 ， 这 时 我 们 的 缺陷 分 析 可 以 是 “ 串 行 ” 的 ( 图 8-51 ) 。 并 且 在 8.4.3 节 
中 ， 我们 也 详细 讨论 了 在 版 本 质量 评估 中 该 如 何 调整 测试 策略 。 
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图 8-51 串 行 的 缺陷 分 析 


在 阶段 质量 评估 中 ， 首 先 我 们 需要 区 分 是 “质量 红线 ”还 是 一 般 性 的 质量 目标 。 如 
果 是 “质量 红线 ”的 问题 ， 评 估 结 果 束 应 该 是 “继续 本 阶段 的 测试 + 更 新 测试 策 
略 ” 


如 果 是 一 般 性 质量 目标 的 问题 ， 并 不 能 由 单个 评估 项 目 “ 不 符合 预期 ”来 得 出 能 


否 “ 进 入 下 一 阶段 的 测试 ”或 “ 友 布 ”的 结论 ， 需 要 对 问题 进行 组 合 分 析 ， 从 系统 
的 角度 来 整体 评估 问题 的 影响 ， 根 据 问题 来 决定 最 后 的 评估 结果 是 继续 本 阶段 的 测 
试 、 进 入 下 一 阶段 的 测试 还 是 友 布 ， 如 图 8-52 所 示 。 





不 达标 












继续 本 阶段 的 测试 


更 新 测试 策略 


不 符合 预期 ， 且 存 
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缺陷 修复 率 


缺陷 密度 
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图 8-52 评估 结果 的 决定 


在 6.6 节 曾经 对 缺陷 分 析 中 出 现 的 那些 常见 的 不 符合 预期 的 情况 进行 了 分 析 和 讨论 ， 
见 表 8-34。 


表 8-34 不 符合 预期 的 情况 


缺陷 分 析 项 不 符合 预期 的 情况 
缺陷 密度 过 高 (参见 6.6.1 节 ) 
缺陷 密度 过 低 (参见 6.6.1 节 ) 

缺陷 修复 率 缺陷 修复 率 偏 低 

累积 发 现 的 缺陷 趋势 的 拐点 出 现 得 过 早 (参见 6.6.3 节 ) 
累积 发 现 的 缺陷 趋势 的 拐点 未 出 现 (参见 6.6.3 市 ) 
两 条 曲线 未 出 现 越 靠 越 近 的 趋势 (参见 6.6.3 太 ) 
累积 发 现 的 缺陷 趋势 为 止 困 数 (参见 6.6.3 节 ) 
没有 在 特定 的 测试 层次 发 现 该 层 的 缺陷 (参见 6.6.4 节 ) 
继承 或 历史 遗留 引入 的 缺陷 过 多 (参见 6.6.4 节 ) 
新 需求 或 变更 引入 的 缺陷 过 多 (参见 6.6.4 节 ) 
缺陷 修改 引入 的 缺陷 过 多 (参见 6.6.4 节 ) 
有 些 测 试 方法 没 能 发 现 缺陷 或 者 发 现 的 缺陷 很 少 (参见 6.6.5 节 ) 
有 些 测试 方法 发 现 的 缺陷 特别 多 (参见 6.6.4 节 ) 


缺陷 密度 


缺陷 趋势 分 析 


缺陷 年 龄 分 析 


缺陷 触发 因素 分 析 


接 下 来 让 我 们 从 缺陷 密度 开始 ， 对 这 些 不 符合 预期 的 情况 进行 组 合 分 析 。 


如 果 我 们 发 现实 际 项 目 中 的 缺陷 密度 过 高 ， 通 过 6.6.1 节 中 的 分 析 ， 我 们 知道 缺陷 密 
度 应 该 在 一 个 合理 的 学 围 内 ， 缺 陷 密 度 过 高 ,说明 友 现 的 缺陷 多 ， 是 不 是 缺陷 友 现 
得 多 束 不 能 进入 下 一 阶段 的 测试 或 者 友 布 呢 ? 这 束 需 要 进一步 分 析 。 


我 们 可 以 先 分 析 一 下 缺陷 触 友 因素 ， 看 看 和 之 前 相 比 ， 是否 使 用 了 更 多 的 测试 方 
法 。 如 果 答 案 是 肯定 的 ， 说 明 有 可 能 是 因为 测试 投入 或 是 测试 能 力 提升 而 友 现 了 系 
统 更 隐 贡 、 更 深入 的 问题 。 缺 陷 年 龄 分 析 可 以 进一步 印证 这 个 问题 ， 如 果 是 ， 此 时 
应 该 有 比较 多 的 继承 或 历史 遗留 的 缺陷 。 


如 果 此 时 缺陷 趋势 为 收敛 ， 并 且 缺 陷 修 复 率 达标 ， 则 可 以 “进入 下 一 阶段 的 测 
试 ”或 “ 友 布 ”。 如 果 缺 陷 趋 势 不 收敛 ， 不 建议 “进入 下 一 阶段 的 测试 ”或 “ 友 


如 果 缺 陷 触 友 因 素 分 析 和 之 前 的 测试 情况 无 异 ， 说 明 造 成 缺陷 密度 过 高 ， 更 可 能 的 
原因 是 “产品 质量 不 高 。 如 果 此 时 缺陷 年 龄 分 析 显示 出 系统 有 较 多 的 新 需求 或 变 


更 ， 或 缺陷 修改 引入 的 缺陷 ， 癌 明 系 统 还 仓 在 较 多 未 友 现 的 缺陷 的 风险 ， 即 使 现在 
缺陷 趋势 为 收敛 ， 缺 陷 修 复 率 达标 ， 也 不 应 该 “进入 下 一 阶段 的 测试 ”或 “ 友 


如 果 此 时 的 缺陷 密度 过 低 ， 我 们 也 可 以 先 分 析 一 下 缺陷 触 友 因 素 ， 如 果 和 之 前 的 测 
试 情况 并 无 差异 ， 说明 可 能 是 系统 的 质量 确实 较 好 ， 当然， 缺陷 年 龄 分 析 也 可 以 进 
一 步 印 证 此 时 的 缺陷 年 龄 分 析 图 应 该 是 比较 理想 的 。 如 果 此 时 缺陷 趋势 为 收敛 ， 并 
且 缺 陷 修复 率 达 标 ， 则 可 以 “进入 下 一 阶段 的 测试 ”或 “ 友 布 ”。 


如 果 缺 陷 触 上 友 因 素 分 析 的 结果 为 “有 毕 测 试 方法 没 能 友 现 缺陷 或 友 现 的 缺陷 比较 
少 ”， 需 要 进一步 确认 原因 是 测试 阻塞 ， 还 是 测试 人 员 的 能 力 问 题 ， 然 后 针对 实际 
问题 来 制订 措施 。 此 时 也 不 应 该 “进入 下 一 阶段 的 测试 ”或 “ 友 布 ”。 


大 家 也 可 以 参考 上 述 分 析 思 路 ， 对 其 他 情况 进行 组 合 分 析 。 
8.6.4 遗留 缺陷 分 析 
遗留 缺陷 分 析 是 指 那些 在 版 本 发 布 时 不 准备 修复 的 缺陷 。 


遗留 缺陷 分 析 最 好 在 版 本 计划 友 布 前 的 几 个 版 本 就 开始 进行 ， 这 是 因为 遗留 缺陷 需 
要 项 目 中 所 有 参与 人 员 ， 如 市 场 人 员 、 服 务 人 员 等 ， 都 达成 一 致 。 不 同 岗位 的 人 员 
角度 不 同 、 意 见 不 同 是 很 正常 的 ， 沟 通 交 流 、 协 调 缺 陷 的 修改 都 需要 时 间 。 


进行 遗留 缺陷 分 析 需 要 考虑 的 主要 内 容 包括 : 
-缺陷 对 用 户 的 影响 程度 。 


缺陷 发 生 的 概率 。 


缺陷 风险 评估 和 规避 措施 。 
接 下 来 我 们 就 来 分 别 进行 讨论 。 
1 .缺陷 对 用 户 的 影响 程度 


缺陷 对 用 户 的 影响 程 大 是 所 缺 陷 在 用 尸 环境 友 生 后 会 对 用 户 造 成 怎样 的 影响 。 缺 陷 
对 用 户 的 影响 程度 可 以 使 用 问题 的 严重 级 别 来 定义 ( 具体 定义 ， 请 参见 6.6.2 节 ) 


2 .缺陷 太 生 的 概率 


缺陷 友 生 的 概率 是 指 缺 陷 在 用 户 环 境 中 上 友 生 的 概率 。 不 过 在 实际 项 目 中 ， 缺 陷 友 生 
的 概率 往往 是 缺陷 在 测试 环境 中 不 容易 出 现 的 概率 。 


缺陷 上 友 生 的 概率 可 以 分 为 表 8-35 所 示 的 几 类 。 


表 8-35 缺陷 上 友 生 概率 的 分 类 





缺陷 发 生 概率 定义 和 描述 
有 条 件 必 然 重 现 | 缺陷 在 测试 环境 中 每 次 都 必然 出 现 
( 续 ) 
缺陷 发 生 概率 定义 和 描述 
有 条 件 概率 重 现 | 缺陷 在 测试 环境 中 不 会 每 次 都 出 现 ， 但 按照 一 些 特 定 的 操作 出 现 的 概率 很 大 
无 规律 重 现 测试 人 员 不 知道 可 以 复 现 这 些 缺 陷 的 条 件 ， 但 是 这 个 缺陷 却 可 以 在 测试 环境 中 无 规律 地 出 现 
无 法 重 现 测试 人 员 不 知道 可 以 复 现 这 些 缺 陷 的 条 件 ， 并 且 这 个 缺陷 无 法 出 现 


3 .缺陷 风险 评估 和 规避 措施 


判断 缺陷 是 人 否 可 以 遗留 ， 其 实 融 是 对 缺陷 进行 风险 评估 。 我 们 可 以 使 用 6.7.1 节 中 的 
风险 评估 方法 ， 来 初步 筛选 出 哪些 缺陷 可 以 遗留 。 


对 那些 初步 确认 是 可 以 遗留 的 缺陷 ， 需 要 制订 缺陷 的 规避 措施 。 


所 谓 规避 撞 施 ， 其 实 残 是 指 一 种 风险 应 对 措施 。6.7.2 节 中 介绍 的 风险 应 对 措施 ， 对 
缺陷 的 规避 措施 依然 有 效 ， 下 面 是 一 些 可 供 参考 的 思路 


:系统 提供 了 其 他 可 车 代 的 功能 。 
:系统 在 配置 上 给 出 限制 ， 避 免 用 户 触发 bug。 
:系统 给 出 了 明确 的 提示 ( 包括 资料 手册 等 ) 。 
能 遗留 的 缺陷 
原则 上 ， 满 足下 述 条 件 的 缺陷 不 应 该 成 为 遗留 缺陷 : 
“致命 ”缺陷 不 应 该 作为 遗留 缺陷 。 
没有 “规避 措施 ”的 “严重 缺陷 ”不 应 该 遗留 
5 .遗留 缺陷 列表 
最 后 ， 我 们 用 一 张 表 来 记录 和 遗留 缺陷 ， 作 为 讨论 和 发 布 的 材料 ， 见 表 8-36。 


表 8-36 遗留 缺陷 表 


人 鲍 隐 对 用 户 
号 现 说 日 见 逊 方 ; 





全 提供 其 他 可 蔡 代 的 贾 半 方案 
使 用 x x 方法 进行 复 现 ， 


遗留 缺陷 3 - 股 ;规律 重 现 经 过 xxx 时 间 ，x x 次 | 在 资料 中 给 出 提示 


复 现 ， 未 能 有 效 人 复 现 出 问题 


需要 特别 注意 的 是 ， 对 “无 规律 重 现 ” 和 “无 法 重 现 ”的 缺陷 ， 需 要 给 出 “ 复 现 说 
明 ”， 如 使 用 了 怎样 的 方法 、 复 现 了 多 少 次 、 复 现 的 时 | 间 有 多 久 等 。 


8.6.5 临近 发 布 时 的 缺陷 修复 策略 


我 们 在 确定 遗留 缺陷 的 过 程 中 ， 一 方面 ， 由 于 不 同人 员 对 缺陷 遗留 的 标 ) 付 可 能 会 有 
差别 ， 难 免 又 会 临时 决定 要 修改 合 入 一 些 缺 陷 。 另 一 方面 ， 越 到 临近 发 布 的 时 候 ， 
越 需要 控制 缺陷 修复 的 数量 。 


8.6.6 非 必然 重 现 pug 的 处 理 


在 进行 遗留 缺陷 分 析 时 ， 我 们 讨论 了 缺陷 发生 的 概率 ， 对 那些 非 必然 重 现 的 
bug ( 所 “无 规律 重 现 ” 和 “无 法 重 现 ”的 bug ) ， 也 需要 定期 进行 跟踪 和 处 理 。 


在 实际 项 目 中 ， 我 们 常常 友 现 一 些 开 友人 员 和 测试 人 员 对 非 必然 重 现 bug 的 处 理 存 在 


问题 ,如 : 


一 些 开 友 人 员 认 为 问题 不 能 复 现 ， 即 使 测试 提交 了 bug 也 无 法 修改 ， 提 出 来 也 没 
用 ,需要 测试 人 员 找 到 复 现 的 条 件 后 才能 提 bug。 


-一些 测试 人 员 遇 到 非 必然 重 现 问 题 时 ， 认 为 出 现 概率 很 小 ， 可 以 不 提 bug。 


-一些 开 有 友人 员 认 为 非 必 然 重 现 问 题 如 果 经 过 一 两 个 测试 版 本 都 没有 出 现 ， 残 可 以 天 
闭 。 


上 面 的 这 些 处 理 方式 都 是 错误 的 。 这 就 需要 软件 测试 架构 师 和 测试 经 理 、 开 发 代表 
等 在 测试 团队 、 开 友 团 队 中 对 非 必然 重 现 的 问题 达成 共识 : 


:测试 人 员 友 现 非 必然 重 现 的 bug， 也 需要 提 bug。 但 是 需要 特别 做 好 问题 的 记录 ， 并 


在 问题 出 现 的 第 一 时 间 找 开 友 人 员 定 位 。 
Bug 复 现 不 仅仅 是 测试 人 员 的 工作 ， 开 友人 员 和 测试 人 员 可 以 一 起 复 现 bug。 
:未 复 现 的 bug 不 应 该 随便 关闭 。 


对 最 后 一 点 ， 那 些 一 直 未 能 复 现 的 bug， 需 要 软件 测试 絮 构 师 定期 将 这 些 bug 汇 忠 ， 
选择 优先 级 高 的 缺陷 ， 组 织 开 友 人 员 和 测试 人 员 专 门 投入 到 复 现 问题 ， 如 果 经 过 这 
样 的 专门 复 现 依 然 不 能 复 现 ， 可 以 降低 问题 的 优先 级 ， 直 到 bug 的 优先 级 降 至 最 低 ， 
该 bug 才 可 以 天 闭 。 

在 项 目前 期 ， 对 非 必 然 重 现 pug 的 跟踪 周期 可 以 稍 长 一 些 ， 越 到 项 目 后 期 ， 赵 要 加 强 
对 非 必 然 重 现 pug 的 跟踪 、 复 现 工作 。 


8.6.7 总 结 


我 们 一 步 一 步 走 过 了 各 个 测试 阶段 ， 最 后 终于 迎 来 了 “上 友 布 ” ( 图 8- 53 ) 。 对 软件 
测试 架构 师 来 说 ， 质 量 评估 并 给 出 评估 结论 是 一 项 重要 的 工作 。 


发 布 
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图 8-53 友 布 阶段 


我 们 进行 质量 评估 的 目的 不 是 在 项 目 快要 结束 的 时 候 给 出 质量 不 达标 的 结论 ， 而 是 
保证 产品 能 够 按时 、 保 质保 量 发 布 。 因 此 ， 质 量 评估 应 该 是 一 个 贯穿 测试 项 目 始终 
的 活动 ， 每 天 、 每 个 版 本 、 每 个 阶段 都 需要 进行 质量 评估 ， 这 样 即便 友 现 了 质量 问 
题 ， 也 可 以 通过 调整 测试 策略 ， 来 使 得 问题 、 风 险 可 控 。 


跟 路 测试 执行 、 版 本 质量 评估 和 阶段 质量 评估 虽然 都 是 使 用 产品 质量 评估 模型 来 进 
行 评估 ， 但 是 重点 有 所 不 同 。 忆 的 来 说 ， 都 是 从 过 程 到 指标 。 具 体 的 评估 项 目 ， 可 


以 参考 8.6.1 节 中 的 总 结 。 


由 于 阶段 质量 评估 需要 给 出 结论 ， 判断 标准 束 变 得 很 重要 。 图 8-48 所 示 忌 结 了 阶段 
质量 评估 的 评估 思路 和 判断 标准 。 


在 阶段 质量 评估 中 进行 缺陷 分 析 时 ， 不 应 该 对 单个 项 目 做 出 结论 ， 需 要 进行 组 合 分 
析 。 


除 此 之 外 ， 我 们 还 需要 特别 注意 那些 非 必然 重 现 的 缺陷 。 对 那些 特别 难于 复 现 的 缺 
陷 ， 进 行 技术 攻关 是 有 必要 的 。 

对 发 布 时 的 质量 评估 来 说 ， 一 般 会 在 计划 友 布 的 前 几 个 版 本 中 就 开始 进行 友 布 质量 
评估 ， 来 确定 遗留 缺陷 ， 确 定 规 避 措 施 。 越 到 临近 友 布 时 ， 越 需要 减少 缺陷 的 合 
入 ， 控制 代码 的 改动 。 


